[論文レビュー] Distribution-free binary classification: prediction sets, confidence intervals and calibration

Chirag Gupta, Aleksandr Podkopaev+1 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Statistical Methods and Models被引用数 10

ひとこと要約

本稿は、分布仮定なしの二値分類におけるキャリブレーション、予測集合、信頼区間を結ぶ理論的「三本柱」を確立する。分布仮定なしのキャリブレーションが可能となるのは、スコア関数の等高線集合が特徴空間を高々可算個の集合に分割する場合に限られることを証明し、パラメトリック手法（例：プラットスケーリング）の不可能性を排除するとともに、有効な不確実性評価のための非パラメトリックなビニングスキームの有効性を裏付ける。

ABSTRACT

We study three notions of uncertainty quantification -- calibration, confidence intervals and prediction sets -- for binary classification in the distribution-free setting, that is without making any distributional assumptions on the data. With a focus towards calibration, we establish a 'tripod' of theorems that connect these three notions for score-based classifiers. A direct implication is that distribution-free calibration is only possible, even asymptotically, using a scoring function whose level sets partition the feature space into at most countably many sets. Parametric calibration schemes such as variants of Platt scaling do not satisfy this requirement, while nonparametric schemes based on binning do. To close the loop, we derive distribution-free confidence intervals for binned probabilities for both fixed-width and uniform-mass binning. As a consequence of our 'tripod' theorems, these confidence intervals for binned probabilities lead to distribution-free calibration. We also derive extensions to settings with streaming data and covariate shift.

研究の動機と目的

• データ分布の仮定をせず、分布仮定なしの不確実性評価における根本的限界を特定すること。
• キャリブレーション、予測集合、信頼区間という3つの主要な不確実性評価手法の理論的関係を明確化すること。
• 後処理キャリブレーションが分布仮定なしの設定で可能となる条件を同定すること。
• データに依存するビニングを用いて、分布仮定なしの保証を満たす有効な非パラメトリックキャリブレーション手法を開発すること。
• より広範な実用的適用性を実現するため、ストリーミングデータおよび共変量シフト設定へのフレームワークの拡張すること。

提案手法

• 分布仮定なしの設定において、キャリブレーション、予測集合、信頼区間を結ぶ理論的「三本柱」の定理を提唱する。
• 標本分割を用いて、キャリブレーションのためのデータに依存する特徴空間の分割を構築する。
• 一様質量ビニングと固定幅ビニングを適用し、ビン化確率を推定し、分布仮定なしの信頼区間を導出する。
• 分布仮定なしの条件下で有効な、ビン化確率の信頼区間を導出し、これにより分布仮定なしのキャリブレーションが可能になる。
• 逐次確率境界と再重み付け技術を用いて、オンラインおよび共変量シフト設定への結果の拡張を実現する。
• 集中不等式と整合性の取れたビニング条件を用いて、信頼区間の有限標本における有効性を保証する。

実験結果

リサーチクエスチョン

• RQ1 スコアベースの分類器に対して、分布仮定なしの後処理キャリブレーションが可能となる条件は何か？
• RQ2 分布仮定なしの設定において、キャリブレーション、予測集合、信頼区間はどのように関連しているか？
• RQ3 なぜパラメトリックキャリブレーション手法（例：プラットスケーリング）は分布仮定なしのキャリブレーションを達成できないのか？
• RQ4 非パラメトリックなビニングスキームは、有効な分布仮定なしの信頼区間およびキャリブレーションを提供できるか？
• RQ5 分布仮定なしの不確実性評価をストリーミングデータおよび共変量シフトにどのように拡張できるか？

主な発見

• 分布仮定なしのキャリブレーションは、スコア関数の等高線集合が特徴空間を高々可算個の集合に分割する場合にのみ可能である。
• パラメトリックキャリブレーション手法（例：プラットスケーリング）でさえ、漸近的にも分布仮定なしのキャリブレーションを達成できない。
• 固定幅ビニングおよび一様質量ビニングを含む非パラメトリックビニング手法は、ビン化確率に対して有効な分布仮定なしの信頼区間を提供する。
• これらの信頼区間は、直接的に分布仮定なしのキャリブレーションを導き、3つの不確実性評価手法間の理論的循環を閉じる。
• 集中不等式と整合性の取れたビニング条件を用いて信頼区間の理論的保証を確立し、有限標本における有効性を保証する。
• 逐次確率境界と再重み付けを用いることで、ストリーミングデータおよび共変量シフトへの拡張が達成され、分布仮定なしの有効性が保持される。