[论文解读] Distribution-free binary classification: prediction sets, confidence intervals and calibration

Chirag Gupta, Aleksandr Podkopaev+1 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Statistical Methods and Models被引用 10

一句话总结

本文建立了一个理论上的“三脚架”，将分布自由二分类中的校准、预测集和置信区间联系起来。它证明了仅当评分函数的等高集将特征空间划分为至多可数个集合时，分布自由校准才可能实现，从而排除了Platt缩放等参数化方法，验证了非参数化分箱方案在有效不确定性量化中的适用性。

ABSTRACT

We study three notions of uncertainty quantification -- calibration, confidence intervals and prediction sets -- for binary classification in the distribution-free setting, that is without making any distributional assumptions on the data. With a focus towards calibration, we establish a 'tripod' of theorems that connect these three notions for score-based classifiers. A direct implication is that distribution-free calibration is only possible, even asymptotically, using a scoring function whose level sets partition the feature space into at most countably many sets. Parametric calibration schemes such as variants of Platt scaling do not satisfy this requirement, while nonparametric schemes based on binning do. To close the loop, we derive distribution-free confidence intervals for binned probabilities for both fixed-width and uniform-mass binning. As a consequence of our 'tripod' theorems, these confidence intervals for binned probabilities lead to distribution-free calibration. We also derive extensions to settings with streaming data and covariate shift.

研究动机与目标

• 在不假设数据分布的前提下，建立分布自由不确定性量化的根本限制。
• 阐明校准、预测集和置信区间这三种关键不确定性量化方法之间的理论关系。
• 识别在分布自由设定下事后校准可能成立的条件。
• 通过基于数据的分箱开发有效的非参数化校准方法，满足分布自由保证。
• 将该框架扩展至流数据和协变量偏移场景，以增强实际适用性。

提出的方法

• 提出一个理论上的“三脚架”定理体系，将分布自由设定下的校准、预测集和置信区间联系起来。
• 使用样本分割方法，构建用于校准的特征空间数据依赖性划分。
• 应用等质量分箱和固定宽度分箱，以估计分箱概率并推导分布自由置信区间。
• 推导出无需分布假设的分箱概率置信区间，从而实现分布自由校准。
• 通过序列概率边界和重加权技术，将结果扩展至在线和协变量偏移场景。
• 利用集中不等式和平衡分箱条件，确保置信区间的有限样本有效性。

实验结果

研究问题

• RQ1 在何种条件下，基于评分的分类器可以实现分布自由的事后校准？
• RQ2 在分布自由设定下，校准、预测集和置信区间之间有何关系？
• RQ3 为何参数化校准方法（如Platt缩放）无法实现分布自由校准？
• RQ4 非参数化分箱方案能否提供有效的分布自由置信区间和校准？
• RQ5 如何将分布自由不确定性量化扩展至流数据和协变量偏移场景？

主要发现

• 分布自由校准仅在评分函数的等高集将特征空间划分为至多可数个集合时才可能实现。
• 即使在渐近意义上，参数化校准方案（如Platt缩放）也无法实现分布自由校准。
• 非参数化分箱方法（包括固定宽度和等质量分箱）可为分箱概率提供有效的分布自由置信区间。
• 这些置信区间可直接导出分布自由校准，从而在三类不确定性量化方法之间形成理论闭环。
• 通过集中不等式和平衡分箱条件，建立了置信区间的理论保证，且具有有限样本有效性。
• 通过序列概率边界和重加权技术，实现了对流数据和协变量偏移场景的扩展，同时保持了分布自由有效性。