[论文解读] Local Calibration: Metrics and Recalibration

Rachel Luo, Aadyot Bhatnagar+8 more|arXiv (Cornell University)|Feb 22, 2021

Machine Learning and Data Classification被引用 5

一句话总结

本文提出局部校准误差（LCE），一种通过在预训练特征空间中使用基于核函数的相似性以及置信度分箱来衡量局部邻域内预测可靠性的度量方法。该文进一步提出LoRe，一种后处理校准方法，可降低LCE，在图像分类与表格分类任务中提升公平性与决策性能，且无需事先知晓敏感群体信息，其在下游任务中的表现优于全局校准方法。

ABSTRACT

Probabilistic classifiers output confidence scores along with their predictions, and these confidence scores should be calibrated, i.e., they should reflect the reliability of the prediction. Confidence scores that minimize standard metrics such as the expected calibration error (ECE) accurately measure the reliability on average across the entire population. However, it is in general impossible to measure the reliability of an individual prediction. In this work, we propose the local calibration error (LCE) to span the gap between average and individual reliability. For each individual prediction, the LCE measures the average reliability of a set of similar predictions, where similarity is quantified by a kernel function on a pretrained feature space and by a binning scheme over predicted model confidences. We show theoretically that the LCE can be estimated sample-efficiently from data, and empirically find that it reveals miscalibration modes that are more fine-grained than the ECE can detect. Our key result is a novel local recalibration method LoRe, to improve confidence scores for individual predictions and decrease the LCE. Experimentally, we show that our recalibration method produces more accurate confidence scores, which improves downstream fairness and decision making on classification tasks with both image and tabular data.

研究动机与目标

• 为弥合全局校准度量（如ECE）与个体预测校准理想状态之间的差距，后者因单一样本约束而不可行。
• 设计一种校准度量，通过在特征空间中聚合相似样本的误差，实现对个体预测可靠性的估计。
• 设计一种无需模型微调或敏感群体先验知识的后处理校准方法，以降低局部校准误差（LCE）。
• 证明最小化LCE可提升公平性与决策任务的性能，尤其在为低置信度预测提供“安全”操作时效果更显著。

提出的方法

• LCE通过测量相似样本邻域内的平均校准误差来计算，其中相似性由预训练特征空间中的核函数及置信度分箱定义。
• 邻域大小由带宽参数γ控制，实现从全局校准（γ较大）到个体校准（γ较小）的插值。
• LoRe是一种非参数化、后处理的校准方法，通过基于局部邻域统计信息重新加权预测，调整置信度分数以最小化LCE。
• 相似性通过预训练主干网络（如ResNet）提取的特征上的高斯核进行量化，实现在无显式群体标签情况下的局部泛化。
• 理论分析表明，若核函数有界，则LCE可在多项式样本复杂度下被可靠估计，支持其经验估计的可靠性。
• 该方法无需微调，兼容任意预训练模型，可轻松部署于真实系统中。

实验结果

研究问题

• RQ1 能否设计一种校准度量，尽管无法估计个体误分类概率，仍可捕捉个体预测层面的可靠性？
• RQ2 局部校准度量（如LCE）是否能揭示全局度量（如ECE）所无法检测到的校准偏差模式？
• RQ3 后处理校准方法能否在不损害全局校准性能的前提下降低LCE？
• RQ4 提升局部校准是否能带来更好的公平性结果，尤其在校准阶段未知敏感群体时？
• RQ5 更低的LCE是否能提升在存在‘安全’操作以应对低置信度预测场景下的决策能力？

主要发现

• 在公平性基准测试中，LoRe相较于无校准方法，将最大组间MCE平均降低50%，相较于次优的全局方法提升24%。
• LoRe在广泛范围的带宽参数γ下，均优于全局校准方法，显著降低MLCE，且在t-SNE与PCA特征空间中均保持一致优势。
• 最大组间MCE与MLCE的相关性强于与ECE等全局度量的相关性，表明LCE更能捕捉与公平性相关的校准偏差。
• 在ImageNet决策任务中，LoRe在各类奖励比率w/u下均实现最高总奖励，优于所有基线方法。
• LoRe保持了优异的全局校准性能，在ImageNet上达到最低的ECE（0.007）、NLL（0.955）与Brier评分（40.58）。
• LoRe通过在低置信度时更准确地选择‘安全’操作，显著提升系统实用性，从而改善决策能力。