[論文レビュー] Theoretical Foundations of Conformal Prediction

Anastasios N. Angelopoulos, Rina Foygel Barber+1 more|ArXiv.org|Nov 18, 2024

Neural Networks and Applications被引用数 7

ひとこと要約

この本は、exchangeability に基づく分布に依存しない conformal prediction の理論を包括的に提供し、split and full conformal methods、conformal scores、予測における不確実性の定量化の拡張を詳述しています。

ABSTRACT

This book is about conformal prediction and related inferential techniques that build on permutation tests and exchangeability. These techniques are useful in a diverse array of tasks, including hypothesis testing and providing uncertainty quantification guarantees for machine learning systems. Much of the current interest in conformal prediction is due to its ability to integrate into complex machine learning workflows, solving the problem of forming prediction sets without any assumptions on the form of the data generating distribution. Since contemporary machine learning algorithms have generally proven difficult to analyze directly, conformal prediction's main appeal is its ability to provide formal, finite-sample guarantees when paired with such methods. The goal of this book is to teach the reader about the fundamental technical arguments that arise when researching conformal prediction and related questions in distribution-free inference. Many of these proof strategies, especially the more recent ones, are scattered among research papers, making it difficult for researchers to understand where to look, which results are important, and how exactly the proofs work. We hope to bridge this gap by curating what we believe to be some of the most important results in the literature and presenting their proofs in a unified language, with illustrations, and with an eye towards pedagogy.

研究の動機と目的

• conformal prediction を用いて、分布仮定なしに予測的不確実性を定量化する。
• exchangeability または i.i.d. データの下で周辺カバレッジ保証を確立する。
• split and full conformal prediction のフレームワークを開発・比較し、それらの効率性を評価する。
• conformal scores を導入・分析し、区間の効率性と適応性への影響を明らかにする。
• cross-conformal、weighted、online、model-based の視点を含む拡張と calibration を探索する。

提案手法

• split conformal prediction アルゴリズムを提示し、i.i.d. データの下での周辺カバレッジを証明する。
• conformal score 関数（residual、scaled residual、quantile regression、high-probability scores）を導入・形式化し、それらがどのように予測区間を生成するかを示す。
• conformal score の選択が予測区間の形状と適応性を左右することを示す。
• full conformal prediction フレームワークと permutation tests および exchangeability との関係について議論する。
• 拡張と派生（cross-conformal、CV+、jackknife+、weighted and localized conformal methods、online conformal prediction）を概説する。
• 漸近的保証と頑健性の考慮を含む、統一されたモデルベースの視点を提供する。

実験結果

リサーチクエスチョン

• RQ1 exchangeability または i.i.d. データの下で、conformal prediction における周辺カバレッジを保証する条件は何か？
• RQ2 統計的効率と計算コストの観点から、split conformal と full conformal の手続きはどのように比較されるか？
• RQ3 回帰・分類において、有用でかつ妥当な予測区間を生み出す conformal score 関数とは何か？
• RQ4 conformal prediction を i.i.d. データを超えて、weighted、online、または model-based 設定へどの程度拡張できるか？
• RQ5 条件付きカバレッジやその他のより強い妥当性の概念のために必要なトレードオフと緩和は何か？

主な発見

• split conformal prediction は、i.i.d. データの下で、任意の予測モデルと任意の score function の選択に対して周辺カバレッジを提供する。
• 広範なクラスの conformal scores（residual、scaled residual、CQR、high-probability scores）は、データ特性への適応を可能にしつつ有効な予測区間を生み出す。
• Full conformal prediction および exchangeability ベースの解釈は permutation tests に関連し、分布仮定なしで有限サンプルのカバレッジ保証を可能にする。
• Cross-conformal、CV+、jackknife+ の派生はカバレッジ保証を拡張し、データ再利用とアンサンブル的アイデアを通じて効率を改善する。
• weighted、localized、および online conformal 方法は、分布シフト、共変量シフト、ストリーミングデータへの適用性を広げ、exchangeability-like 条件下で有効性を維持する。
• このフレームワークはモデルベースの分析と統合され、exchangeability の違反下で漸近的保証と頑健性の考慮を提供する。