[論文レビュー] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification

Anastasios N. Angelopoulos, Stephen Bates|arXiv (Cornell University)|Jul 15, 2021

Anomaly Detection Techniques and Applications参考文献 11被引用数 28

ひとこと要約

本論文は、分類と回帰にわたる予測のための有効な不確実性集合を生成する分布に依存しない枠組みとしてのコンフォーマル予測を提示し、実践的手順、拡張、および診断を提供する。

ABSTRACT

Black-box machine learning models are now routinely used in high-risk settings, like medical diagnostics, which demand uncertainty quantification to avoid consequential model failures. Conformal prediction is a user-friendly paradigm for creating statistically rigorous uncertainty sets/intervals for the predictions of such models. Critically, the sets are valid in a distribution-free sense: they possess explicit, non-asymptotic guarantees even without distributional assumptions or model assumptions. One can use conformal prediction with any pre-trained model, such as a neural network, to produce sets that are guaranteed to contain the ground truth with a user-specified probability, such as 90%. It is easy-to-understand, easy-to-use, and general, applying naturally to problems arising in the fields of computer vision, natural language processing, deep reinforcement learning, and so on. This hands-on introduction is aimed to provide the reader a working understanding of conformal prediction and related distribution-free uncertainty quantification techniques with one self-contained document. We lead the reader through practical theory for and examples of conformal prediction and describe its extensions to complex machine learning tasks involving structured outputs, distribution shift, time-series, outliers, models that abstain, and more. Throughout, there are many explanatory illustrations, examples, and code samples in Python. With each code sample comes a Jupyter notebook implementing the method on a real-data example; the notebooks can be accessed and easily run using our codebase.

研究の動機と目的

• 実用的で自己完結型のコンフォーマル予測と分布に依存しない不確実性定量化の導入を提供する。
• コンフォーマル予測がヒューリスティックなモデル不確実性を厳密で有限サンプルの保証へと転換する方法を示す。
• 分類と回帰のための複数のコンフォーマル手順を実データの例とともに示す。
• 適応性と複雑なタスクおよび分布シフトへの拡張を含む評価、適応性、および議論を行う。

提案手法

• スコア関数と分位点qhatを用いた校正ステップを含むコンフォーマル予測フレームワークを導入し、予測集合を形成する。
• 正式なカバレッジ保証を持つ主要で広く使われている変種として分割コンフォーマル予測を提示する。
• 分類のためのスコア関数ベースの具体的手順（適応的予測集合）、回帰のためのコンフォーマル化回帰量子化、スカラー不確実性推定のコンフォーマル化、ベイズのコンフォーマル化を提供する。
• カバレッジ保証が基盤となるモデルやデータ分布に依存しないことを説明する。
• 構造化出力、分布シフト、外れ値、選択的意思決定への拡張を、実用的なPythonコード断片とノートブックとともに議論する。
• 適応性と正確さの評価指標を概説し、カバレッジチェックとキャリブレーション集合のサイズの考慮を含む。

実験結果

リサーチクエスチョン

• RQ1 任意のモデルからの分布に依存しない、有限サンプルの予測不確実性保証をどのように得るか。
• RQ2 分類と回帰で有用な適応的予測集合を生み出すスコア関数を設計するにはどうすればよいか。
• RQ3 時系列、外れ値、分布ドリフトなどのタスクへの実践的な拡張は何か。
• RQ4 実データでの適応性と正確なカバレッジを評価するにはどうするか。
• RQ5 カリブレーション集合のサイズが保証と性能に及ぼす影響は何か。

主な発見

• コンフォーマル予測は、モデルやデータ分布に依存せずとも、全体的なカバレッジを1−αで保証する予測集合を生み出す。
• 適応的予測集合は、入力の難易度とセットサイズのバランスをとるように構築でき、実用的な有用性を向上させる。
• コンフォーマライズされた回帰量子化は、既存の量子化モデルをカリブレーション由来の分位点で調整することで回帰の有効な区間を提供する。
• ベイズ、スカラー不確実性、ベイズ最適集合などへのさまざまなコンフォーマル拡張は実現可能で、分布に依存しない保証を維持する。
• キャリブレーション集合のサイズと診断ツールは、適切なカバレッジを確保し、実践での適応性を測るうえで重要である。