[論文レビュー] A tutorial on conformal prediction

Glenn Shafer, Vladimir Vovk|arXiv (Cornell University)|Jun 21, 2007

Machine Learning and Algorithms参考文献 27被引用数 623

ひとこと要約

このチュートリアルでは、交換可能性またはガウス線形モデルの下で正確な信頼水準を持つ予測領域を生成するために過去のデータを利用する、正則化予測の手法であるコンフォーマル予測を紹介する。この手法は、任意のポイント予測器を有限標本誤差制御を保ちつつ、分布に依存しない有効な予測集合に変換する。オンライン設定においてデータが蓄積されても、1−ϵの被覆を維持する。

ABSTRACT

Conformal prediction uses past experience to determine precise levels of confidence in new predictions. Given an error probability $ε$, together with a method that makes a prediction $\hat{y}$ of a label $y$, it produces a set of labels, typically containing $\hat{y}$, that also contains $y$ with probability $1-ε$. Conformal prediction can be applied to any method for producing $\hat{y}$: a nearest-neighbor method, a support-vector machine, ridge regression, etc. Conformal prediction is designed for an on-line setting in which labels are predicted successively, each one being revealed before the next is predicted. The most novel and valuable feature of conformal prediction is that if the successive examples are sampled independently from the same distribution, then the successive predictions will be right $1-ε$ of the time, even though they are based on an accumulating dataset rather than on independent datasets. In addition to the model under which successive examples are sampled independently, other on-line compression models can also use conformal prediction. The widely used Gaussian linear model is one of these. This tutorial presents a self-contained account of the theory of conformal prediction and works through several numerical examples. A more comprehensive treatment of the topic is provided in "Algorithmic Learning in a Random World", by Vladimir Vovk, Alex Gammerman, and Glenn Shafer (Springer, 2005).

研究の動機と目的

• 機械学習および統計の研究者を対象に、コンフォーマル予測に関する自己完結型のチュートリアルを提供すること。
• 最小限のi.i.d.または交換可能性の仮定の下で、コンフォーマル予測が有限標本の有効性を保証する仕組みを説明すること。
• SVM、回帰、ニューラルネットワークを含む多様な予測モデルへの適用可能性を示すこと。
• 逐次的に更新されるモデルにおけるオンライン学習設定でも、コンフォーマル予測が有効な被覆を維持することを示すこと。
• 数値例と基本的なアルゴリズムを通じて、理論的基盤と実装の実際を橋渡しすること。

提案手法

• コンフォーマルアルゴリズムは、新しい例が過去のデータに対してどれほど異常であるかを測る非適合性尺度を用いて予測領域を構築する。
• 誤差率 ϵ が与えられた場合、この手法は真のラベルを確率 1−ϵ 以上に含む (1−ϵ)-予測領域 Γϵ を出力する。
• 予測領域は、コンフォーマル分布の下で、新しい例の非適合性スコアを過去の学習例のスコアと順位付けすることで計算される。
• 回帰では、通常はポイント予測の周囲の区間となる。分類では、候補ラベルの集合となることがある。
• 交換可能性およびガウス線形モデルの下で有効であり、データセットがオンラインで増加しても正確な被覆保証が得られる。
• ガウス線形モデルでは、コンフォーマル予測領域は古典的なt区間へと簡略化され、非適合性尺度 |y−ŷ| の下で等価性が証明される。

実験結果

リサーチクエスチョン

• RQ1 分布に依存しない方法で、有限標本の有効性を保ちながら、予測の信頼性をどのように定量化できるか？
• RQ2 オンライン学習において、コンフォーマル予測領域が正確な被覆確率 1−ϵ を維持するための条件は何か？
• RQ3 ガウス線形モデルの下で、回帰におけるコンフォーマル予測は、古典的手法（t区間）とどのように比較できるか？
• RQ4 SVM やニューラルネットワークのような複雑なモデルを含め、任意のポイント予測器にコンフォーマル予測を適用できるか？
• RQ5 特にラベル集合が小さい分類において、有効性と効率のトレードオフはどのように影響を受けるか？

主な発見

• 交換可能性の下で、蓄積されるデータセットに対しても、真のラベルが予測領域内にある確率が 1−ϵ 以上であることが保証される。
• 非適合性尺度が |y−ŷ| の場合、ガウス線形モデルの下で回帰のコンフォーマル予測領域は正確に古典的なt区間（37）に一致し、理論的同等性が保証される。
• オンライン設定でも有効性が維持され、予測が逐次的に行われ、各ラベルが次の予測の前に明らかにされる。
• 分類では、理想的な結果は、予測ラベルのみを含む 1−ϵ 予測領域であり、このような状態が達成される最小の ϵ が信頼水準を与える。
• コンフォーマル予測の効率は、非適合性尺度の選択と元のデータ分布に依存し、より優れた尺度を用いることで、より狭く情報量の多い領域が得られる。
• ガウス線形モデルでは、コンフォーマルアルゴリズムの予測領域はt分布に基づく区間と等価であり、誤差率は正確に ϵ に一致する。独立誤差が保証されれば、長期的な有効性も保証される。