[论文解读] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification

Anastasios N. Angelopoulos, Stephen Bates|arXiv (Cornell University)|Jul 15, 2021

Anomaly Detection Techniques and Applications参考文献 11被引用 28

一句话总结

本论文将共形预测作为一个分布无关框架，用于在分类和回归的预测中生成有效的不确定性集合，提供实际程序、扩展和诊断。

ABSTRACT

Black-box machine learning models are now routinely used in high-risk settings, like medical diagnostics, which demand uncertainty quantification to avoid consequential model failures. Conformal prediction is a user-friendly paradigm for creating statistically rigorous uncertainty sets/intervals for the predictions of such models. Critically, the sets are valid in a distribution-free sense: they possess explicit, non-asymptotic guarantees even without distributional assumptions or model assumptions. One can use conformal prediction with any pre-trained model, such as a neural network, to produce sets that are guaranteed to contain the ground truth with a user-specified probability, such as 90%. It is easy-to-understand, easy-to-use, and general, applying naturally to problems arising in the fields of computer vision, natural language processing, deep reinforcement learning, and so on. This hands-on introduction is aimed to provide the reader a working understanding of conformal prediction and related distribution-free uncertainty quantification techniques with one self-contained document. We lead the reader through practical theory for and examples of conformal prediction and describe its extensions to complex machine learning tasks involving structured outputs, distribution shift, time-series, outliers, models that abstain, and more. Throughout, there are many explanatory illustrations, examples, and code samples in Python. With each code sample comes a Jupyter notebook implementing the method on a real-data example; the notebooks can be accessed and easily run using our codebase.

研究动机与目标

• 提供一个实用、独立自成体系的共形预测和分布无关不确定性量化入门。
• 展示共形预测如何将直觉的模型不确定性转化为严格、有限样本的保证。
• 展示多种共形预测方法用于分类和回归，并给出实际数据示例。
• 讨论评估、适应性以及对复杂任务和分布偏移的扩展。

提出的方法

• 通过分层校准步骤引入共形预测框架，使用分数函数和量化分位数 qhat 形成预测集合。
• 将分割型共形预测作为主要、广泛使用的变体，具备正式的覆盖保证。
• 提供基于分数函数的具体程序用于分类（自适应预测集合）、回归的共形化分位回归、对标量不确定度估计的共形化，以及共形化贝叶斯。
• 解释覆盖保证与底层模型或数据分布无关。
• 讨论对结构化输出、分布偏移、异常值和带有实际 Python 代码片段与笔记本的选择性决策的扩展。
• 概述评估指标，用于评估自适应性和正确性，包括覆盖率检查和校准集大小的考虑。

实验结果

研究问题

• RQ1 如何为任何模型获得分布无关、有限样本的不确定性保证？
• RQ2 在分类和回归中，应该如何设计分数函数以产生有用的、自适应的预测集合？
• RQ3 共形预测在时间序列、异常值和分布漂移等任务中的实际扩展有哪些？
• RQ4 如何在真实数据中评估共形预测器的自适应性和正确覆盖？
• RQ5 校准集大小对保证和性能有何影响？

主要发现

• 共形预测产生在 1−α 的边际覆盖保证的预测集合，与模型或数据分布无关。
• 可以构建自适应预测集合，以平衡集合大小和输入难度，从而提高实际有用性。
• 共形化分位回归通过用来自校准的分位数调整现有分位模型，为回归提供有效区间。
• 各种共形扩展（如对贝叶斯、标量不确定性和贝叶斯最优集合）是可行的，且保持分布无关的保证。
• 校准集大小和诊断工具对确保正确覆盖和在实践中衡量自适应性至关重要。