[论文解读] Combining Ensembles and Data Augmentation can Harm your Calibration

Yeming Wen, Ghassen Jerfel+5 more|arXiv (Cornell University)|Oct 19, 2020

Adversarial Robustness in Machine Learning参考文献 51被引用 9

一句话总结

该论文识别出一种关键病理现象：将模型集成与数据增强（特别是Mixup）结合时，由于软标签带来的置信度持续降低以及权重边缘化效应，导致模型校准性能下降。为解决此问题，作者提出CAMixup——一种在类别和样本层面自适应调整Mixup系数的方法，可在恢复校准性能的同时提升准确率，在CIFAR-10、CIFAR-100和ImageNet上实现了最先进的不确定性校准效果。

ABSTRACT

Ensemble methods which average over multiple neural network predictions are a simple approach to improve a model's calibration and robustness. Similarly, data augmentation techniques, which encode prior information in the form of invariant feature transformations, are effective for improving calibration and robustness. In this paper, we show a surprising pathology: combining ensembles and data augmentation can harm model calibration. This leads to a trade-off in practice, whereby improved accuracy by combining the two techniques comes at the expense of calibration. On the other hand, selecting only one of the techniques ensures good uncertainty estimates at the expense of accuracy. We investigate this pathology and identify a compounding under-confidence among methods which marginalize over sets of weights and data augmentation techniques which soften labels. Finally, we propose a simple correction, achieving the best of both worlds with significant accuracy and calibration gains over using only ensembles or data augmentation individually. Applying the correction produces new state-of-the art in uncertainty calibration across CIFAR-10, CIFAR-100, and ImageNet.

研究动机与目标

• 探究为何尽管集成与数据增强（如Mixup）各自都能提升校准性能，但二者的结合反而损害了模型校准性能。
• 识别校准性能下降的根本原因，特别是Mixup引入的软标签导致的置信度持续降低，以及集成中权重边缘化效应的叠加影响。
• 开发一种校正方法，使模型在不牺牲校准性能的前提下，同时受益于集成与数据增强的优势。
• 在多个基准测试中实现最先进的不确定性校准性能，同时保持优异的准确率。

提出的方法

• 提出CAMixup方法，根据验证集上各分类的可靠性（准确率减去置信度）自适应地为每个类别分配Mixup系数，以纠正置信度不足的问题。
• 在类别可靠性上应用阈值机制，判断是否应对每个类别应用Mixup，避免对某一类别中所有样本统一应用Mixup。
• 将CAMixup扩展为样本级变体，利用遗忘次数（forgetting counts）——遗忘次数高表示预测不可靠——仅对遗忘次数高的样本应用Mixup，以提升校准性能。
• 结合温度缩放技术，进一步优化校准性能，尤其在分布内和分布外数据上表现更佳。
• 在标准深度学习训练流程中集成CAMixup，根据验证阶段模型行为动态调整Mixup系数。
• 在多种集成方法（MC-dropout、BatchEnsemble、Deep Ensembles）和数据集（CIFAR-10、CIFAR-100、ImageNet）上评估该方法，以确保其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 为何将集成与Mixup结合会导致校准性能下降，尽管二者单独使用时都能提升校准性能？
• RQ2 当权重边缘化（集成）与标签平滑（Mixup）结合时，导致置信度持续降低的机制是什么？
• RQ3 动态自适应的Mixup系数策略能否缓解该交互作用引发的校准性能下降？
• RQ4 所提出的CAMixup方法是否在校准性能与准确率上均优于单独使用集成或数据增强？
• RQ5 该方法能否在不同架构与数据集（包括ImageNet）上实现良好泛化？

主要发现

• 在所有三种集成方法（MC-dropout、BatchEnsemble、Deep Ensembles）中，结合集成与Mixup均导致校准性能显著下降，CIFAR-10与CIFAR-100上的ECE值明显上升。
• 根本原因在于置信度持续降低的叠加效应：Mixup引入的软标签带来了负向置信度偏差，而该偏差在与集成中权重边缘化效应叠加后被进一步放大。
• CAMixup在CIFAR-10上实现0.4% ECE的最先进校准性能，在CIFAR-100上达到2.3% ECE，优于单独使用任一技术或其简单组合。
• 在ImageNet上，CAMixup实现1.5% ECE，创下新SOTA记录，同时在ResNet-50上保持77.4%的顶级-1准确率。
• 基于遗忘次数的CAMixup在CIFAR-10上进一步提升了校准性能，在BatchEnsemble与MC-dropout上多数指标优于基于类别的CAMixup，但在CIFAR-100上结果不一致。
• 结合温度缩放的CAMixup进一步改善了分布内数据的校准性能，但对分布外数据的校准性能提升不显著。