[論文レビュー] Learning to Abstain via Curve Optimization.

Amr M. Alexandari, Avanti Shrikumar+1 more|arXiv (Cornell University)|Feb 20, 2018

Machine Learning and Data Classification参考文献 27被引用数 1

ひとこと要約

本稿では、機械学習モデルがいつ保留をとるかを学ぶための新しい曲線最適化アプローチを提案する。この手法は、保留の予算制約のもとで、保留するテスト例の集合を選択することで、保持された例における性能を解析的に最大化する。視覚、自然言語処理、バイオインフォマティクスのタスクにおいて、不確実性に基づく手法を上回り、影響関数を用いた新しい診断手法により、ノイズのあるデータに対するロバスト性が向上する。

ABSTRACT

In practical applications of machine learning, it is often desirable to identify and abstain on examples where the a model's predictions are likely to be incorrect. We consider the problem of selecting a budget-constrained subset of test examples to abstain on, with the goal of maximizing performance on the remaining examples. We develop a novel approach to this problem by analytically optimizing the expected marginal improvement in a desired performance metric, such as the area under the ROC curve or Precision-Recall curve. We compare our approach to other abstention techniques for deep learning models based on posterior probability and uncertainty estimates obtained using test-time dropout. On various tasks in computer vision, natural language processing, and bioinformatics, we demonstrate the consistent effectiveness of our approach over other techniques. We also introduce novel diagnostics based on influence functions to understand the behavior of abstention methods in the presence of noisy training data, and leverage the insights to propose a new influence-based abstention method.

研究の動機と目的

• 固定された保留の予算が与えられたもとで、モデルがどのテスト例を保留すべきかを特定する課題に対処すること。
• AUC-ROC や AUPRC といった重要な指標を最適化することで、残りの例におけるモデル性能を向上させること。
• ヒューリスティックな不確実性ベースの手法よりも優れる、原理的で解析的な保留手法を開発すること。
• 影響関数を用いて、ノイズのある学習データ下での保留手法の挙動を診断し、そのロバスト性を理解すること。
• 診断分析から得た知見に裏付けられた、新しい影響関数ベースの保留手法を提案すること。

提案手法

• この手法は、各テスト例における性能指標（例：AUC-ROC）の期待限界利益に関する最適化問題として保留意思決定を定式化する。
• ある例を保留した場合の性能指標における期待改善量の解析的表現を導出し、サンプリングを必要とせずに直接最適化を可能にする。
• 影響関数を用いて、学習データポイントが保留意思決定に与える影響を分析し、ノイズのある例に対するモデルの感度を明らかにする。
• モデル予測と性能指標に与える影響に基づいて例を選択する、新しい影響関数ベースの保留戦略を導入する。
• この手法はディープラーニングモデルに適用され、不確実性推定のためのテスト時ドロップアウトを用いて評価される。
• 保留の予算制約のもとで最適化が行われ、実用的導入を保証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、予算制約のもとで、残りの例における性能を最大化するために、テスト例の部分集合を最適に選択して保留すべきか？
• RQ2 性能指標の改善量に対する解析的最適化は、不確実性に基づくヒューリスティックよりも優れた保留意思決定をもたらすか？
• RQ3 ノイズのある学習データ下で、保留手法はどのように振る舞うのか？また、影響関数はそれらの手法のロバスト性を診断・向上させるのに役立つか？
• RQ4 影響関数に基づく診断は、新たなより効果的な保留戦略の導出に繋がるか？
• RQ5 提案された曲線最適化手法は、多様な機械学習タスクにおいて一貫して性能を向上させるか？

主な発見

• 提案された曲線最適化手法は、コンピュータビジョン、自然言語処理、バイオインフォマティクスのベンチマークにおいて、不確実性ベースの保留手法を一貫して上回る。
• 後方確率やドロップアウトに基づく不確実性を用いたベースライン手法と比較して、保持された例における AUC-ROC と AUPRC がより高い。
• 影響関数診断により、標準的な保留手法が特に高い影響を持つノイズのある学習例に対して感受性が高いことが明らかになった。
• 診断の知見に基づいて導出された影響関数ベースの保留手法は、データノイズ下でも改善されたロバスト性と性能を示した。
• 解析的最適化アプローチにより、反復的またはサンプリングに基づく近似を必要とせず、効率的かつスケーラブルな保留意思決定が可能になった。
• 性能向上は、多様なデータセットとモデルアーキテクチャにおいて一貫しており、広範な適用可能性を示している。