[論文レビュー] Optimal strategies for reject option classifiers

Vojtěch Franc, Prusa, D.+1 more|arXiv (Cornell University)|Jan 29, 2021

Machine Learning and Algorithms参考文献 34被引用数 6

ひとこと要約

本稿では、確率的ベイズ選択関数を導入することで、不確実性に基づく拒否を伴うベイズ最適予測を可能にする統一的理論枠組みを提案する。この関数により、条件付き期待リスクに基づく不確実性スコアとしての適切なスカラー要約を定義し、分類、順序回帰、構造予測の各タスクにおいて最適なリスク・カバレッジトレードオフを達成する2つのフィッシャー整合的アルゴリズムを提案する。

ABSTRACT

In classification with a reject option, the classifier is allowed in uncertain cases to abstain from prediction. The classical cost-based model of a reject option classifier requires the cost of rejection to be defined explicitly. An alternative bounded-improvement model, avoiding the notion of the reject cost, seeks for a classifier with a guaranteed selective risk and maximal cover. We coin a symmetric definition, the bounded-coverage model, which seeks for a classifier with minimal selective risk and guaranteed coverage. We prove that despite their different formulations the three rejection models lead to the same prediction strategy: a Bayes classifier endowed with a randomized Bayes selection function. We define a notion of a proper uncertainty score as a scalar summary of prediction uncertainty sufficient to construct the randomized Bayes selection function. We propose two algorithms to learn the proper uncertainty score from examples for an arbitrary black-box classifier. We prove that both algorithms provide Fisher consistent estimates of the proper uncertainty score and we demonstrate their efficiency on different prediction problems including classification, ordinal regression and structured output classification.

研究の動機と目的

• コストベース、限定的改善、限定的カバレッジモデルの下で、既存の最適拒否オプション分類器の定式化を統一・拡張すること。
• 条件付き期待リスクに基づくランダム化ベイズ選択関数を持つベイズ分類器として、最適予測戦略を明示的に特徴づけ、3つのモデルすべてにおいて最適性を保証すること。
• 条件付き期待リスクが誘導する順序を保持するスカラー関数としての適切な不確実性スコアを定義し、最適拒否ポリシーの構築に十分であることを示すこと。
• 任意のブラックボックス分類器に適用可能な、一般的な2つのフィッシャー整合的アルゴリズムを、ラベル付き例から適切な不確実性スコアを学習する目的で開発すること。
• 二値分類、順序回帰、構造出力分類を含む多様なタスクにおいて、提案手法の実験的妥当性を検証し、リスク・カバレッジ性能の向上を示すこと。

提案手法

• 条件付き期待リスクがしきい値に近い場合に確率的に予測を拒否するランダム化ベイズ選択関数を導入し、リスクまたはカバレッジ制約を満たすように受容確率を調整する。
• 限定的カバレッジモデルを限定的改善モデルの対称的双対として定義し、保証されたカバレッジ制約の下で選択的リスクを最小化する。
• 同じランダム化ベイズ選択関数が限定的改善モデルと限定的カバレッジモデルの両方を解くことができることを確立し、3つの拒否パラダイム（コストベース、限定的改善、限定的カバレッジ）を統一する。
• 入力の条件付きリスクによる順序を保持する関数としての適切な不確実性スコアを提案し、最適拒否ポリシーの回復に十分であることを示す。
• 2つの学習アルゴリズムを開発：1つは代理損失関数を用いた経験的リスク最小化に基づくもので、もう1つはペairwise比較に基づくサロゲート損失関数を用いるもので、両者ともフィッシャー整合性が保証されている。
• リスク・カバレッジトレードオフを近似するためのログ和指数（log-sum-exp）項を含む代理損失関数を採用し、最適スコアへの収束に関する理論的保証を提示する。

実験結果

リサーチクエスチョン

• RQ1 既知の確率分布のもとで、限定的改善モデルにおける最適予測戦略は何か？
• RQ2 限定的カバレッジモデル（限定的改善モデルの対称的双対）は、最適拒否ポリシーとどのように関係するか？
• RQ3 スカラー不確実性スコアが最適ランダム化ベイズ選択関数を構築するために十分であるために満たすべき条件は何か？
• RQ4 データから適切な不確実性スコアを推定するための一般的な学習アルゴリズムを設計でき、フィッシャー整合性を保証できるか？
• RQ5 提案されたアルゴリズムは、異なる学習タスクにおけるリスク・カバレッジトレードオフの観点で、既存の不確実性推定手法と比較してどのように性能を発揮するか？

主な発見

• コストベース、限定的改善、限定的カバレッジの3つの拒否モデルの最適戦略は、すべて同一である：ランダム化ベイズ選択関数を持つベイズ分類器である。
• ランダム化ベイズ選択関数は、意思決定のしきい値と受容確率によって完全に特徴づけられ、目標となるリスクレベルおよびカバレッジレベルと明示的な関係を持つ。
• 適切な不確実性スコアは、入力の条件付き期待リスクによる順序を保持する関数として定義され、最適拒否に十分である。
• 提案された学習アルゴリズムはフィッシャー整合的であり、標本サイズが増加するにつれて真の最適不確実性スコアに収束することが保証される。
• 実験的結果から、学習された不確実性スコアが、分類、順序回帰、構造出力予測の各タスクにおいて、優れたリスク・カバレッジ（RC）曲線性能を達成することが示された。
• 理論的分析により、最適戦略が条件付きリスクと拒否パラメータによって一意に決定され、それより優れた性能を達成する代替戦略は存在しないことが証明された。