[論文レビュー] Bad practices in evaluation methodology relevant to class-imbalanced problems

Jan Brabec, Lukáš Machlica|arXiv (Cornell University)|Dec 4, 2018

Imbalanced Data Classification Techniques被引用数 8

ひとこと要約

この論文は、クラス不均衡問題における機械学習モデルの評価において広く見られる悪質な実務を特定し批判しており、正解率、標準的なAUC、不適切にサンプリングされたテストセットが、楽観的で誤解を招く性能評価をもたらすことを強調している。本稿では、現実の導入状況を反映するために、精度-再現率曲線、調整済み精度、および領域特化型AUCの使用を提唱している。

ABSTRACT

For research to go in the right direction, it is essential to be able to compare and quantify performance of different algorithms focused on the same problem. Choosing a suitable evaluation metric requires deep understanding of the pursued task along with all of its characteristics. We argue that in the case of applied machine learning, proper evaluation metric is the basic building block that should be in the spotlight and put under thorough examination. Here, we address tasks with class imbalance, in which the class of interest is the one with much lower number of samples. We encountered non-insignificant amount of recent papers, in which improper evaluation methods are used, borrowed mainly from the field of balanced problems. Such bad practices may heavily bias the results in favour of inappropriate algorithms and give false expectations of the state of the field.

研究の動機と目的

• 近年のクラス不均衡データセットを扱う機械学習論文において、不適切な評価実務がどれほど広く見られるかを浮き彫りにすること。
• クラス不均衡や不適切なテストセットのサンプリングによって、正解率や標準的なAUCといった一般的な指標がどのように誤解を招くかを示すこと。
• モデル性能の妥当な比較と現実的な期待値を保証するため、査読において評価手法が厳密に吟味されなければならないことを主張すること。
• 現実の導入状況におけるより正確で現実的な性能評価を可能にする、実用的で原則に則った代替手法（例：調整済み精度、領域別AUC）を提言すること。

提案手法

• 陽性クラスが主な関心対象であり、偽陽性が高コストである状況では、ROC曲線ではなく精度-再現率（PR）曲線を使用することを提唱する。PR曲線は、最終ユーザーが直面するトレードオフをより適切に反映する。
• テストセットのクラス事前確率と現実世界のクラス事前確率とのずれを補正する調整済み精度の式を導入する：adjusted_precision = (p_real/p_test * TP) / (p_real/p_test * TP + (1-p_real)/(1-p_test) * FP)。
• 特に高不均衡状況では、AUCを定義された領域（例：侵入検知においてFPR ≤ 10⁻⁴）に限定して計算することを推奨する。これは、偽陽性率が実用的に関係する範囲に焦点を当てるためである。
• 真のクラス分布を保つために、テストセットにおける多数クラスのダウンサンプリングを避けるべきである。これは、過剰に楽観的な精度推定を防ぐためである。
• 真のクラス事前確率を報告し、それが性能指標に与える影響を議論することが重要である。特に医療診断やネットワークセキュリティなどの分野では重要である。

実験結果

リサーチクエスチョン

• RQ1 なぜ正解率はクラス不均衡データセットにおけるモデル評価に不適切な指標であり、それを用いるとどのような結果が生じるのか？

主な発見

• 517件の不均衡分類論文を調査した結果、38％がデータが不均衡であることを認識しながらも正解率を評価指標として使用しており、誤った性能主張を生じさせている。
• 1:100の不均衡比がある状況で正解率が97％未満のモデルは、常に多数クラスに予測する単純な多数クラス分類器に劣る。
• ダウンサンプリングされたテストセットを使用すると、現実世界と比較して偽陽性の数が過小評価され、結果として精度の推定が楽観的になりすぎる。
• 標準的なAUCは、全ROC曲線にわたって計算されるが、その99.99％がFPR > 10⁻³の領域に集中しており、これはネットワーク侵入検知のような高不均衡分野では実用的ではない。
• 現実世界のクラス事前確率を考慮した調整済み精度は、モデル性能のより現実的な推定を提供し、テストセットの事前確率と現実世界の事前確率が異なる場合に報告すべきである。
• FPR範囲が導入に実用的である（例：FPR ≤ 10⁻⁴）領域に限定してAUCを計算することで、誤った比較を防ぎ、実用的価値をより適切に反映できる。