[論文レビュー] Consistent Estimators for Learning to Defer to an Expert

Hussein Mozannar, David Sontag|arXiv (Cornell University)|Jun 2, 2020

Machine Learning and Algorithms参考文献 53被引用数 24

ひとこと要約

本論文では、交差エントロピーを一般化する代替損失を用いた、コストセンシティブ学習への新しい還元手法を提案し、専門家に予測を延期するタイミングを学ぶための一貫推定器を提示する。この手法は分類器とリジェクト機構を同時に学習し、理論的整合性と多様なタスクにおける優れた実験的性能を達成しており、専門家の意思決定ラベルのみで動作する。

ABSTRACT

Learning algorithms are often used in conjunction with expert decision makers in practical scenarios, however this fact is largely ignored when designing these algorithms. In this paper we explore how to learn predictors that can either predict or choose to defer the decision to a downstream expert. Given only samples of the expert's decisions, we give a procedure based on learning a classifier and a rejector and analyze it theoretically. Our approach is based on a novel reduction to cost sensitive learning where we give a consistent surrogate loss for cost sensitive learning that generalizes the cross entropy loss. We show the effectiveness of our approach on a variety of experimental tasks.

研究の動機と目的

• 現実の意思決定において専門家の参加を無視する機械学習のギャップを埋める。
• 専門家の意思決定ラベルのみを用いて、いつ予測を行うか、いつ専門家に延期するかを学ぶ手法を開発する。
• 限定的な監視情報のもとでも学習プロセスの理論的整合性を保証する。
• 交差エントロピー損失をコストセンシティブ学習に一般化し、より高いロバスト性とパフォーマンスを実現する。
• 複数の現実世界の予測タスクにおいて、提案手法の実験的妥当性を検証する。

提案手法

• 専門家に予測を延期する方法を学ぶ問題を、コストセンシティブ学習問題に還元する。
• コストセンシティブ設定に一般化された交差エントロピー損失を一般化する代替損失関数を導入する。
• 一貫した代替損失を用いて、分類器とリジェクト機構を同時に学習する。
• 理論的分析により、代替損失を最小化することで最適な延期ポリシーの一貫推定が達成されることを証明する。
• 完全なラベルではなく、専門家の意思決定のみを必要とする部分的監視下で動作する。
• スケーラブルで、多様な予測タスクに適用可能なアルゴリズムとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 専門家の意思決定ラベルのみが利用可能な状況で、信頼できる延期ポリシーを学習できるか？
• RQ2 部分的監視のもとで、最適な延期戦略に対する一貫推定器を構築することは可能か？
• RQ3 最適化の観点から、交差エントロピー損失をコストセンシティブ学習にどのように一般化できるか？
• RQ4 提案手法は、現実世界の延期タスクにおいてベースラインを上回る性能を示すか？
• RQ5 最小限の仮定のもとで、多様なドメインに効果的に適用可能か？

主な発見

• 提案された代替損失により理論的整合性が保証され、データ量が増加するにつれて学習されたポリシーが最適なものに収束する。
• 医療診断や画像分類を含む複数のベンチマークタスクで、優れた実験的性能を達成する。
• 限定的な専門家監視情報のもとでも、既存のベースラインを精度および延期品質の観点で上回る。
• 理論的分析により、代替損失を最小化することで、コストセンシティブ制約下での最適意思決定が達成されることを確認した。
• フレームワークはロバストで汎用性が高く、多様な現実世界の状況で有効性を示した。
• 完全ラベルのアノテーションを必要とせずに、延期のタイミングを効果的に学習可能である。