[论文解读] A tutorial on conformal prediction

Glenn Shafer, Vladimir Vovk|arXiv (Cornell University)|Jun 21, 2007

Machine Learning and Algorithms参考文献 27被引用 623

一句话总结

本教程介绍了合性预测（conformal prediction），一种利用历史数据生成具有精确置信水平的预测区域的方法，在交换性或高斯线性模型假设下可确保有效覆盖。该方法可将任意点预测器转化为具有有限样本误差控制的、分布无关的有效预测集，即使在在线设置中数据持续累积，也能保持 1−ϵ 的覆盖概率。

ABSTRACT

Conformal prediction uses past experience to determine precise levels of confidence in new predictions. Given an error probability $ε$, together with a method that makes a prediction $\hat{y}$ of a label $y$, it produces a set of labels, typically containing $\hat{y}$, that also contains $y$ with probability $1-ε$. Conformal prediction can be applied to any method for producing $\hat{y}$: a nearest-neighbor method, a support-vector machine, ridge regression, etc. Conformal prediction is designed for an on-line setting in which labels are predicted successively, each one being revealed before the next is predicted. The most novel and valuable feature of conformal prediction is that if the successive examples are sampled independently from the same distribution, then the successive predictions will be right $1-ε$ of the time, even though they are based on an accumulating dataset rather than on independent datasets. In addition to the model under which successive examples are sampled independently, other on-line compression models can also use conformal prediction. The widely used Gaussian linear model is one of these. This tutorial presents a self-contained account of the theory of conformal prediction and works through several numerical examples. A more comprehensive treatment of the topic is provided in "Algorithmic Learning in a Random World", by Vladimir Vovk, Alex Gammerman, and Glenn Shafer (Springer, 2005).

研究动机与目标

• 为机器学习与统计学领域的研究人员提供一份内容自洽的合性预测教程。
• 解释合性预测如何在最小化 i.i.d. 或交换性假设下，确保预测区域的有限样本有效性。
• 展示该方法在各类预测模型中的适用性，包括支持向量机（SVMs）、回归模型和神经网络。
• 说明合性预测如何在模型按顺序更新的在线学习环境中维持有效覆盖。
• 通过数值示例与核心算法，弥合理论基础与实际实现之间的鸿沟。

提出的方法

• 合性算法利用非符合度度量（nonconformity measure）构建预测区域，该度量量化了新样本相对于历史数据的异常程度。
• 对于给定的误差率 ϵ，该方法输出一个 (1−ϵ)-预测区域 Γϵ，使得真实标签以至少 1−ϵ 的概率落入该区域。
• 预测区域通过在符合性分布下，将新样本的非符合度得分与历史训练样本的得分进行排序后计算得出。
• 在回归任务中，该区域通常为点预测值附近的区间；在分类任务中，可能为候选标签的集合。
• 该方法在交换性假设及高斯线性模型下均有效，即使数据集在线性增长，也能提供精确的覆盖保证。
• 在高斯线性模型下，合性预测区域退化为经典的 t-区间，证明了在非符合度度量 |y−ŷ| 下的理论等价性。

实验结果

研究问题

• RQ1 如何在分布无关的前提下，以有限样本有效性量化预测置信度？
• RQ2 在在线学习中，何种条件可确保合性预测区域保持精确的覆盖概率 1−ϵ？
• RQ3 在高斯线性模型下，合性预测与经典方法（如 t-区间）在回归任务中的表现如何比较？
• RQ4 合性预测能否应用于任意点预测器，包括支持向量机（SVMs）和神经网络等复杂模型？
• RQ5 在分类任务中，当预测集合较小时，合性预测的可靠性与效率之间存在何种权衡？

主要发现

• 在交换性假设下，合性预测保证真实标签以至少 1−ϵ 的概率落入预测区域，即使数据集持续累积，该性质依然成立。
• 当非符合度度量为 |y−ŷ| 时，在高斯线性模型下，回归任务的合性预测区域恰好等于经典的 t-区间（37），证明了理论上的等价性。
• 该方法在在线设置下仍保持有效性，即预测按顺序进行，且每个真实标签在下一个预测前被揭示。
• 在分类任务中，理想结果是 1−ϵ 预测区域仅包含预测标签本身，而使该情况成立的最小 ϵ 值即对应预测的置信水平。
• 合性预测的效率取决于非符合度度量的选择及底层数据分布，更优的度量可产生更紧凑、更具信息量的预测区域。
• 在高斯线性模型下，合性算法的预测区域等价于基于 t-分布的区间，且误差率恰好为 ϵ，独立误差可确保长期有效性。