[論文レビュー] Visualization of Tradeoff in Evaluation: from Precision-Recall & PN to LIFT, ROC & BIRD

David Powers|arXiv (Cornell University)|May 3, 2015

Imbalanced Data Classification Techniques参考文献 15被引用数 9

ひとこと要約

本稿では、多クラスおよび不均衡データを扱うために、従来の評価指標（ROC、PR、LIFT）を拡張する統合可視化フレームワーク—BIRD（Balanced Informed ROC Diagram）およびその変種—を提案する。予測の先行度、コスト、ノイズのモデリングを通じてエントロピーおよび対数変換を用いることで、確率論的および情報理論的修正を施し、分類器評価の解釈可能性を向上させるとともにバイアスを低減する。

ABSTRACT

Evaluation often aims to reduce the correctness or error characteristics of a system down to a single number, but that always involves trade-offs. Another way of dealing with this is to quote two numbers, such as Recall and Precision, or Sensitivity and Specificity. But it can also be useful to see more than this, and a graphical approach can explore sensitivity to cost, prevalence, bias, noise, parameters and hyper-parameters. Moreover, most techniques are implicitly based on two balanced classes, and our ability to visualize graphically is intrinsically two dimensional, but we often want to visualize in a multiclass context. We review the dichotomous approaches relating to Precision, Recall, and ROC as well as the related LIFT chart, exploring how they handle unbalanced and multiclass data, and deriving new probabilistic and information theoretic variants of LIFT that help deal with the issues associated with the handling of multiple and unbalanced classes.

研究の動機と目的

• 多クラスおよび不均衡な設定における単一数値評価指標の限界を解消すること。
• 二値分類を越えた分類器性能のトレードオフを可視化する図的フレームワークを構築すること。
• 確率論的および情報理論的拡張を通じて、先行度、コスト、バイアス、ノイズを統合し、解釈可能性を向上させること。
• AUCのマクロ平均やVUSによる誤った集約を回避する多クラス版ROCおよびLIFTの拡張を提供すること。
• 現実世界の展開状況をよりよく反映する、バイアス重み付きで情報理論的であるAUCの代替案を提案すること。

提案手法

• 予測バイアス（ΛPx = log₂ΣPx）の対数変換を用いて不均衡を可視化する、ROCおよびLIFTの多クラス拡張としてBIRD（Balanced Informed ROC Diagram）を提案。
• ΔHx = THx – FHx をネット情報損失の測度として導入。ここで THx = H(sTRx) および FHx = H(sFRx) であり、情報理論的コストに基づく期待Bookmaker利得をモデリング。
• ExcelおよびMATLABにおける配列数式を用いて、閾値ごとのクラス固有指標（TRx, FRx, PPxなど）を計算し、動的カーブ生成を可能にする。
• 小標本における過学習を低減するため、確率推定にラプラススムージング（s=1）を適用。特にFRxおよびPPxの推定に有効。
• 標準のROCおよびLIFTの代替として、情報量とコスト感受性を強調するBOC（Bookmaker Operating Curve）およびBIFT（Balanced Informed F-measure Tradeoff）を導出。
• オракル不確実性下で最適であることが示されるバイアス重み付き平均を、多クラスAUCのマクロ平均の代替として推奨。

実験結果

リサーチクエスチョン

• RQ1 ROC、PR、LIFTを意味的に多クラス問題に拡張する方法は何か。ただし、解釈可能性を損なわず、バイアスを導入しないようにする。
• RQ2 クラス先行度および予測バイアスは、評価指標の解釈にどのように寄与するか。
• RQ3 エントロピーおよび対数変換といった情報理論的測度は、分類器のトレードオフ可視化をどのように改善するか。
• RQ4 マクロ平均による一対多のROC曲線のAUCはなぜ誤解を招くのか。最適な代替平均戦略は何か。
• RQ5 コスト、ノイズ、不均衡を統合する一貫した可視化フレームワークを統合的に開発できるか。

主な発見

• BIRDフレームワークは、不確実性下で最適であることが示されたバイアス重み付き平均を用いることで、AUCのマクロ平均の落とし穴を回避する多クラス可視化を提供する。
• 予測バイアス（ΛPx）の対数変換は、不均衡に起因する情報損失を効果的に捉え、多クラス可視化のための安定的かつ解釈可能な軸を提供する。
• エントロピーを用いた真陽性率および偽陽性率の測定に基づくΔHxは、情報理論的コストモデルに基づく期待Bookmaker利得を反映するネット情報損失測度を提供する。
• ラプラススムージング（AddOne）は、小標本設定における安定性を顕著に向上させ、特に偽陽性率および予測バイアスの推定に有効である。
• BIFTおよびBPRD曲線は、多クラスおよび不均衡状況下で、標準のLIFTおよびPR曲線よりもより頑健かつ解釈可能であることが示された。
• 本稿では、適切な重み付けがなされない限りAUCおよびVUSが誤解を招くことが実証され、多クラス評価において情報量のバイアス重み付き平均（2AUC–1）が最適なアプローチであることが示された。