[論文レビュー] Attributing AUC-ROC to Analyze Binary Classifier Performance

Arya Tafvizi, Besim Avci+1 more|arXiv (Cornell University)|May 24, 2022

Imbalanced Data Classification Techniques被引用数 7

ひとこと要約

本論文は、AUC-ROC を個々の例および例のペアへの寄与に分解する、新たな帰属割り当て手法を提案する。この手法により、モデルの性能を解釈可能にセグメント化でき、特に分布シフトや矛盾する学習目的がある状況下で、モデルが正例と負例を分離できていないデータスライスを特定し、耐性の問題や改善の余地を明らかにする。AUC-ROC を例のペアに関して線形であるとみなすことにより、モデルが困難に感じている領域を同定する。

ABSTRACT

Area Under the Receiver Operating Characteristic Curve (AUC-ROC) is a popular evaluation metric for binary classifiers. In this paper, we discuss techniques to segment the AUC-ROC along human-interpretable dimensions. AUC-ROC is not an additive/linear function over the data samples, therefore such segmenting the overall AUC-ROC is different from tabulating the AUC-ROC of data segments. To segment the overall AUC-ROC, we must first solve an \emph{attribution} problem to identify credit for individual examples. We observe that AUC-ROC, though non-linear over examples, is linear over \emph{pairs} of examples. This observation leads to a simple, efficient attribution technique for examples (example attributions), and for pairs of examples (pair attributions). We automatically slice these attributions using decision trees by making the tree predict the attributions; we use the notion of honest estimates along with a t-test to mitigate false discovery. Our experiments with the method show that an inferior model can outperform a superior model (trained to optimize a different training objective) on the inferior model's own training objective, a manifestation of Goodhart's Law. In contrast, AUC attributions enable a reasonable comparison. Example attributions can be used to slice this comparison. Pair attributions are used to categorize pairs of items -- one positively labeled and one negatively -- that the model has trouble separating. These categories identify the decision boundary of the classifier and the headroom to improve AUC.

研究の動機と目的

• 学習目的とデプロイメント環境が乖離している状況、特に分布シフトが生じる状況において、バイナリ分類器を評価する課題に対処すること。
• 標準的なセグメント別 AUC の報告に制限があるのを克服し、データサブポピュレーションごとの AUC-ROC 性能を解釈可能にセグメント化すること。
• Goodhart の法則による誤解を避けるために、異なる目的を最適化するモデルを比較するための原則的で整合性のある方法を提供すること。
• モデルの性能が最適でない特定のデータスライスや例のペアを同定し、標本収集やモデル改善のための的確な支援を行うこと。

提案手法

• 正例と負例からなるペアに関して AUC-ROC を線形とみなすことで、AUC の寄与を個々のペアに帰属づける。
• 例の帰属割り当てを、その例を含むすべてのペアの帰属割り当ての合計として定義し、スライスレベルでの性能分析を可能にする。
• 意思決定木を用いてデータ特徴に基づき帰属割り当てを自動的にセグメント化し、誠実な推定と t 検定を用いて誤検出を低減する。
• ペアの帰属割り当てを、各セグメントペア内での誤って順序が逆になったペアの数（1 - AUC）として計算し、モデルの誤差の余地を捉える。
• 10,000 個の正例および負例に対してサンプリングとカルテシアン積のペアリングを適用し、効率的なスケーリングを実現する。
• 浅い意思決定木を用いて帰属スコアを予測し、問題のあるまたは容易なデータスライスの自動発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 AUC-ROC が個々の例に関して線形でない場合、どのようにしてデータサブポピュレーションごとに意味的に意味のあるセグメント化が可能になるか？
• RQ2 個々の例および例のペアへの帰属割り当ては、標準的なセグメント別 AUC では捉えきれない隠れた性能格差を明らかにできるか？
• RQ3 交差エントロピーとジニを最適化するなど、異なる目的を最適化するモデルが AUC-ROC で評価された際に、どの程度誤った順位付けが生じるか？
• RQ4 どのデータスライスが AUC の余地（改善の潜在的余地）に最も寄与しているか？ そして、これらはどのようにして自動的に同定できるか？
• RQ5 ペアの帰属割り当ては、決定境界の弱みを強調する、特定の分離が難しい例のペアを同定できるか？

主な発見

• この手法により、交差エントロピー損失を最適化するために学習されたモデルが、ランダムフォレスト自身の学習目的で評価された際にはランダムフォレストを上回る AUC-ROC を達成することが明らかになった。これは Goodhart の法則の実例である。
• Census データセットにおいて、両方が「Husband」となるスライスは、全ペアの 2% に過ぎないが、AUC の余地に顕著に寄与している（0.76 AUC 対全体の 0.88）、改善の潜在的余地が大きいことが示された。
• Lending Club データセットにおいて、「デフォルト」の 36 ヶ月ローンで FICO スコアが高いスライスは、AUC がほぼゼロ（0.56）であり、全ペアの 9% を占め、AUC がほぼゼロだがペアが 1% のスライスに比べて 4 倍の誤って順序が逆になったペアを含んでいた。
• この手法により、モデルが高 FICO スコアのデフォルトローンと低 FICO スコアの支払い済みローンを分離できていないことが明確に特定され、特定の失敗モードが浮き彫りになった。
• ペアの帰属割り当てにより、モデルが多数の誤りを「Husband」である負例を含むペアですることを明らかにした。これはそのセグメントに系統的なバイアスが存在することを示している。
• 誠実な推定と t 検定を併用した意思決定木による自動セグメンテーションは、大きな特徴空間を持つ中でも過学習を避けながら、高インパクトなスライスを効果的に同定できた。