[论文解读] Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning

Kanil Patel, William Beluch+3 more|arXiv (Cornell University)|Jun 23, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用 12

一句话总结

本文提出 I-Max 分箱方法，一种基于信息论的方法，通过最大化真实标签与量化 logits 之间的互信息来优化多分类不确定性校准的分箱边界。通过解耦分箱边界与代表值的优化，该方法在小样本校准集（如 1k 个样本）下显著提升了校准性能与排序准确性，优于当前最先进方法，在 ImageNet 和 CIFAR 基准测试中表现优异，同时保持了模型的原始准确性。

ABSTRACT

Post-hoc multi-class calibration is a common approach for providing high-quality confidence estimates of deep neural network predictions. Recent work has shown that widely used scaling methods underestimate their calibration error, while alternative Histogram Binning (HB) methods often fail to preserve classification accuracy. When classes have small prior probabilities, HB also faces the issue of severe sample-inefficiency after the conversion into K one-vs-rest class-wise calibration problems. The goal of this paper is to resolve the identified issues of HB in order to provide calibrated confidence estimates using only a small holdout calibration dataset for bin optimization while preserving multi-class ranking accuracy. From an information-theoretic perspective, we derive the I-Max concept for binning, which maximizes the mutual information between labels and quantized logits. This concept mitigates potential loss in ranking performance due to lossy quantization, and by disentangling the optimization of bin edges and representatives allows simultaneous improvement of ranking and calibration performance. To improve the sample efficiency and estimates from a small calibration set, we propose a shared class-wise (sCW) calibration strategy, sharing one calibrator among similar classes (e.g., with similar class priors) so that the training sets of their class-wise calibration problems can be merged to train the single calibrator. The combination of sCW and I-Max binning outperforms the state of the art calibration methods on various evaluation metrics across different benchmark datasets and models, using a small calibration set (e.g., 1k samples for ImageNet).

研究动机与目标

• 为解决现有直方图分箱（HB）方法在多分类校准中的局限性，特别是其样本效率低下及分类准确性下降的问题。
• 解决温度缩放和直方图密度估计（HDE）方法中因分箱的偏差-方差权衡导致的校准误差低估问题。
• 开发一种方法，能够在校准性能和保持高分类准确性之间实现同步优化，尤其在校准数据有限时表现更优。
• 引入一种共享类别级（sCW）校准策略，将相似类别（如同属一类或具有相似先验）的训练数据合并，以提升样本效率。
• 提供一种可靠且保证收敛的校准方法，对小样本校准集具有鲁棒性，并避免均匀分箱策略的缺陷。

提出的方法

• I-Max 分箱被形式化为一种基于信息论的优化问题，旨在最大化真实标签与量化 logits 之间的互信息，从而在分箱过程中最小化预测信息的损失。
• 该方法通过迭代优化分箱边界以最大化互信息，天然确保每一分箱内有足够的校准样本，从而提升校准的可靠性。
• 分箱边界与分箱代表值分别独立优化，解耦了校准与排序准确性的目标，从而避免因量化损失导致的性能下降。
• 引入一种共享类别级（sCW）校准策略，即在一个校准器中联合训练多个相似类别（如具有相似类别先验）的数据，通过合并其校准数据提升样本效率。
• 对每个类别采用一对多（OvR）校准，独立地在每个类别的预测 logits 上应用 I-Max 分箱，以确保类别特定的校准。
• 通过期望校准误差（ECE）、负对数似然（NLL）、Brier 评分和 top-1 准确率对方法进行评估，并通过消融实验验证其在基线分箱与缩放方法上的优越性。

实验结果

研究问题

• RQ1 在多分类设置中，对分箱边界进行互信息最大化是否能实现更优的校准性能，同时保持分类准确性？
• RQ2 在小样本校准数据条件下，I-Max 分箱与传统直方图分箱（等宽/等频）及缩放方法相比，在校准误差与准确性方面表现如何？
• RQ3 共享类别级（sCW）校准策略在不牺牲校准质量的前提下，能在多大程度上提升样本效率？
• RQ4 I-Max 分箱是否能消除 HDE 方法在 ECE 评估中固有的偏差-方差权衡问题？
• RQ5 分箱边界与代表值优化的解耦是否能同时提升校准性能与排序性能？

主要发现

• I-Max 分箱在所有基准测试中均实现了最低的期望校准误差（ECE）：在使用 1k 个校准样本的 ImageNet 上，ECE 为 0.0224 ± 0.0016。
• 该方法在将 ECE 降低超过 50% 的同时，保持了高 top-1 准确率（96.28 ± 0.19），相比标准直方图分箱（等宽：0.0288 ± 0.0039）表现更优。
• 仅使用 1k 个校准样本时，I-Max w. GP 在 CIFAR100 上实现了 0.0218 ± 0.0012 的 top-1 ECE，优于所有基线方法（包括 BWS 和 ETS-MnM）。
• sCW 策略使低先验类别的校准效果显著提升，与独立分箱相比，其 ECE 最多降低 50%。
• I-Max 分箱表现出可靠的收敛性，并在多个随机种子下保持稳定性能，而基于 HDE 的 ECE 估计则对分箱数量敏感。
• 在 ImageNet 和 CIFAR 数据集上，I-Max 分箱在校准误差与不确定性估计指标（NLL、Brier 评分）方面均优于当前最先进校准技术（如 GP、BWS、ETS-MnM）。