[論文レビュー] Criteria of efficiency for conformal prediction

Vladimir Vovk, Ilia Nouretdinov+3 more|arXiv (Cornell University)|Mar 14, 2016

Computational Drug Discovery Methods参考文献 11被引用数 13

ひとこと要約

本稿は、分類における適合予測のための新たな効率基準クラス、すなわち「確率的」基準を導入し、分析する。これは、標準的指標に見られる限界を是正するものである。本稿は、確率的基準のみが、多様なデータ分布にわたって一貫性があり、キャリブレーションがとれた振る舞いを保証することを示しており、従来の指標（サイズやシングルトン状態）を超えた予測集合の品質評価の理論的基盤を提供する。

ABSTRACT

We study optimal conformity measures for various criteria of efficiency of classification in an idealised setting. This leads to an important class of criteria of efficiency that we call probabilistic; it turns out that the most standard criteria of efficiency used in literature on conformal prediction are not probabilistic unless the problem of classification is binary. We consider both unconditional and label-conditional conformal prediction.

研究の動機と目的

• 適合予測のための、理論的に堅牢で、データ分布にわたって一貫性のある効率基準クラスを特定・形式化すること。
• 予測集合のサイズやシングルトン状態といった、一般的に用いられる基準が、二値分類以外では確率的ではなく、非二値分類において誤った効率評価を引き起こす可能性があることを示すこと。
• 確率的基準が、適切なスコアリングルールに類似しており、適合予測器の評価における原理的枠組みを提供すること。
• 真のデータ生成分布が既知である場合の各基準における最適な適合度測度の分析を行い、隠れた行動的インcentiveを明らかにすること。
• 回帰、異常検知、非理想化された設定における未解決問題を特定するため、ラベル条件付き適合予測への分析の拡張を図ること。

提案手法

• p値と予測集合の性質に基づく正式な定義を用いて、10の異なる適合予測のための効率基準（うち6つが新規）を提案する。
• 確率的基準を、適切なスコアリングルールに類似した条件を満たす基準として定義し、分布の不確実性下でも一貫性を保証する。
• データ生成分布が既知であるものと仮定し、各基準における最適適合度測度を分析し、理想化された適合度測度を用いる。
• 理論的結果を応用して、非確率的基準が、真の分布が既知であっても、最適でない適合度測度を好むことがあることを示す。
• 微小な摂動（例：δ）を用いた反例を提示し、F、E、OU、OMといった標準的基準が確率的でないことを示す。
• フレームワークをラベル条件付き適合予測に拡張し、条件付き効率評価についても類似の結果を示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ、適合予測における標準的効率基準が、多クラス分類において一貫性がありキャリブレーションがとれた評価を提供しないのか？
• RQ2 どのような性質を有する基準であれば、異なるデータ生成プロセスにわたって、強固で分布不変な評価が可能になるのか？
• RQ3 真の分布が既知である状況下で、確率的基準と非確率的基準は、最適適合度測度の選択においてどのように異なるのか？
• RQ4 確率的基準の理論的枠組みを回帰、異常検知、あるいは無限のオブジェクト空間に拡張可能か？
• RQ5 非確率的基準を最適化する際の計算的課題は何か？また、それらは、Subset-Sum問題のような既知のNP困難問題とどのように関係するか？

主な発見

• 予測集合のサイズやシングルトン状態といった、最も広く用いられている基準は、分類問題が二値でない限り確率的ではなく、分布シフト下で一貫性のない振る舞いを示す。
• F基準は確率的でない。なぜなら、真の分布が同じであっても、CP理想化適合度測度と変更された適合度測度との間に期待値の差が生じるためである。
• E基準は確率的でない。なぜなら、適合度測度が予測誤差の超過をゼロに保つ一方で、CP理想化測度は非ゼロの期待超過を負うことがあるためである。
• OUおよびOM基準は確率的でない。反例により、同じ有意水準下でCP理想化測度が、変更された適合度測度よりも劣る性能を示すことが示された。
• 確率的基準は、適切なスコアリングルールに類似しており、最適適合度測度が真のデータ生成分布と一致することを保証する。
• 決定的適合予測器では、N基準はSubset-Sum問題に帰着され、これはNP困難であるため、非確率的基準の最適化には本質的な計算複雑性が内在している。