[論文レビュー] Selective Classification via Curve Optimization

Amr M. Alexandari, Avanti Shrikumar+1 more|arXiv (Cornell University)|Feb 20, 2018

Machine Learning and Data Classification被引用数 1

ひとこと要約

この論文は、不均衡データセットにおける選択的分類を最適化するため、補正済み確率推定値を用いたメトリクス固有の放棄フレームワークを提案する。対象となるメトリクスは、受信者操作特性曲線下の面積（AUC）、固定特異度における感度、加重CohenのKappaである。ラベルシフト適応を用いることでドメインシフト下でも効果的な放棄が可能となり、医療画像、自然言語処理、コンピュータビジョン、ゲノムティクスのベンチマークにおいて、トップ-k正答率に焦点を当てた手法を上回る性能を発揮する。

ABSTRACT

In practical applications of machine learning, it is often desirable to identify and abstain on examples where the model's predictions are likely to be incorrect. Much of the prior work on this topic focused on out-of-distribution detection or performance metrics such as top-k accuracy. Comparatively little attention was given to metrics such as area-under-the-curve or Cohen's Kappa, which are extremely relevant for imbalanced datasets. Abstention strategies aimed at top-k accuracy can produce poor results on these metrics when applied to imbalanced datasets, even when all examples are in-distribution. We propose a framework to address this gap. Our framework leverages the insight that calibrated probability estimates can be used as a proxy for the true class labels, thereby allowing us to estimate the change in an arbitrary metric if an example were abstained on. Using this framework, we derive computationally efficient metric-specific abstention algorithms for optimizing the sensitivity at a target specificity level, the area under the ROC, and the weighted Cohen's Kappa. Because our method relies only on calibrated probability estimates, we further show that by leveraging recent work on domain adaptation under label shift, we can generalize to test-set distributions that may have a different class imbalance compared to the training set distribution. On various experiments involving medical imaging, natural language processing, computer vision and genomics, we demonstrate the effectiveness of our approach. Source code available at this https URL. Colab notebooks reproducing results available at this https URL.

研究の動機と目的

• トップ-k正答率ではなく、AUCおよびCohenのKappaといった不均衡データセットにおいて重要なメトリクスを最適化する選択的分類手法のギャップを埋める。
• 補正済みモデル出力を真のラベルの代理として用いることで、計算効率が良く、メトリクス固有の放棄戦略を構築する。
• ラベルシフト適応を統合することで、訓練データとは異なるクラスの不均衡を持つテスト分布に対しても一般化を可能にする。
• 医療画像、自然言語処理、コンピュータビジョン、ゲノムティクスなど多様な分野において、フレームワークの有効性を実証する。
• 標準の正答率ベースの基準を超えて、複数のパフォーマンスメトリクスを最適化する統一的なアプローチを提供する。

提案手法

• フレームワークは、ある例について放棄した場合の目標メトリクス（例：AUC、Kappa）の変化を推定するために、補正済み確率推定値を用いる。これにより、メトリクスに配慮した意思決定が可能になる。
• 確率推定値からの解析的導出を用いて、特定の特異度レベルにおける感度、AUC、加重CohenのKappaを最適化する放棄ルールを定式化する。
• 補正済み確率が真の後方確率を反映しているという仮定に基づき、放棄下でも正確なメトリクス推定が可能になる。
• 訓練データのクラス分布とは異なるクラス分布を持つテストセットに対しても一般化できるように、最近のラベルシフト適応の進展を統合する。
• 後処理としての補正ステップとして実装されており、補正済み出力を備えた任意の事前学習済みモデルに適用可能である。
• しきい値ベースと曲線最適化の両方の戦略をサポートしており、精度、再現率、メトリクス固有のパフォーマンスの間で柔軟なトレードオフを実現できる。

実験結果

リサーチクエスチョン

• RQ1 不均衡データセットにおいて、トップ-k正答率に代えてAUCおよびCohenのKappaを最適化する選択的分類は、実際に効果的に実現可能か？
• RQ2 補正済み確率推定値をどのように用いることで、任意のメトリクスに対する個々の例の放棄の影響を推定できるか？
• RQ3 訓練データとは異なるクラスの不均衡を持つテスト分布に対しても、このフレームワークは一般化可能か？
• RQ4 実世界のデータセットにおいて、メトリクス固有の放棄戦略はトップ-k正答率ベースの戦略に比べて、AUCおよびKappa性能で優れているか？
• RQ5 提案されたフレームワークは、多様な機械学習分野において、計算効率と実用的スケーラビリティに優れているか？

主な発見

• 提案手法は、すべての例がインデータ（in-distribution）である状況下でも、不均衡データセットにおいてトップ-k正答率ベースの放棄戦略に比べ、加重CohenのKappaとAUCの両方を顕著に向上させる。
• ベースライン手法に比べ、特にリソースが限られた状況や極めて不均衡な状況において、固定特異度レベルにおける感度が高くなる。
• ラベルシフト適応を活用することで、訓練データとは異なるクラス分布を持つテストセットに対しても、効果的に一般化され、分野を越えて性能向上を維持する。
• 医療画像、自然言語処理、コンピュータビジョン、ゲノムティクスにおける実験から、メトリクス固有のパフォーマンスが一貫して向上することが確認され、本手法の広範な適用可能性が裏付けられる。
• 計算オーバーヘッドは最小限に抑えられており、既存のモデル出力に対して後処理としての補正ステップとして動作するため、実用的である。
• Colabのノートブックとソースコードは公開されており、再現性が確保され、既存のMLパイプラインへの統合が可能である。