[论文解读] Criteria of efficiency for conformal prediction

Vladimir Vovk, Ilia Nouretdinov+3 more|arXiv (Cornell University)|Mar 14, 2016

Computational Drug Discovery Methods参考文献 11被引用 13

一句话总结

本文引入并分析了一类用于分类中置信预测的新型效率准则，称为“概率性”准则，以解决标准度量的局限性。结果表明，仅概率性准则能在不同数据分布下确保一致且校准良好的行为，为评估预测集质量提供了理论坚实的基础，超越了传统指标（如大小或单元素状态）。

ABSTRACT

We study optimal conformity measures for various criteria of efficiency of classification in an idealised setting. This leads to an important class of criteria of efficiency that we call probabilistic; it turns out that the most standard criteria of efficiency used in literature on conformal prediction are not probabilistic unless the problem of classification is binary. We consider both unconditional and label-conditional conformal prediction.

研究动机与目标

• 识别并形式化一类在理论和数据分布上均稳健且一致的置信预测效率准则。
• 证明常用准则（如预测集大小或单元素状态）并非概率性，且在非二元分类中可能导致误导性的效率评估。
• 确立概率性准则（类似于严格评分规则）为评估置信预测器提供原则性框架。
• 在已知真实数据生成分布的前提下，分析每种准则下的最优符合度度量，揭示其隐含的行为激励。
• 将分析扩展至标签条件置信预测，并识别未来在回归、异常检测及非理想化设置中的开放问题。

提出的方法

• 提出十种置信预测的效率准则，包括六种新准则，其形式化定义基于p值和预测集属性。
• 将“概率性”准则定义为满足类似于严格评分规则条件的准则，以确保在分布不确定性下的稳定性。
• 在假设已知数据生成分布的前提下，分析每种准则下的最优符合度度量，使用理想化符合度度量。
• 应用理论结果表明，即使在真实分布已知的情况下，非概率性准则仍可能偏好次优的符合度度量。
• 通过小扰动（如δ）的反例，证明标准准则（如F、E、OU和OM）不具概率性。
• 将框架扩展至标签条件置信预测，证明条件效率评估下存在类似结果。

实验结果

研究问题

• RQ1 为何标准置信预测效率准则在多分类中无法提供一致且校准良好的评估？
• RQ2 效率准则必须具备何种性质，才能确保其在不同数据生成过程下的鲁棒性与分布不变性？
• RQ3 在已知分布下，概率性准则与非概率性准则在选择最优符合度度量方面有何差异？
• RQ4 概率性准则的理论框架能否扩展至回归、异常检测或无限对象空间？
• RQ5 优化非概率性准则的计算挑战是什么？其与已知的NP难问题（如子集和问题）有何关联？

主要发现

• 最广泛使用的准则（如预测集大小或单元素状态）在非二元分类中并非概率性，导致在分布变化下行为不一致。
• F准则并非概率性，因为其对CP理想化符合度度量与经微小扰动后的修改版本赋予不同的期望值。
• E准则不具概率性，因为它允许某种符合度度量实现零超额预测误差，而CP理想化度量却产生非零期望超额误差。
• OU和OM准则不具概率性，反例表明在相同显著性水平下，CP理想化度量的表现劣于修改后的符合度度量。
• 概率性准则在概念上类似于严格评分规则，确保最优符合度度量与真实数据生成分布一致。
• 对于确定性置信预测器，N准则退化为子集和问题，该问题为NP难，表明非概率性准则在优化中存在固有的计算复杂性。