[论文解读] Improving Calibration in Mixup-trained Deep Neural Networks through Confidence-Based Loss Functions.

Juan Maroñas, Daniel Ramos+1 more|arXiv (Cornell University)|Mar 22, 2020

Machine Learning and Data Classification被引用 4

一句话总结

本文提出一种基于置信度的损失函数，以改进混合训练（Mixup）的深度神经网络的校准性能，其灵感源自贝叶斯决策理论，用以纠正Mixup固有的校准缺陷。该方法在基准测试中实现了最先进（state-of-the-art）的准确率，并在模型校准方面实现了持续且可量化的改进。

ABSTRACT

Deep Neural Networks (DNN) represent the state of the art in many tasks. However, due to their overparameterization, their generalization capabilities are in doubt and are still under study. Consequently, DNN can overfit and assign overconfident predictions, as they tend to learn highly oscillating decision thresholds. This has been shown to affect the calibration of the confidences assigned to unseen data. Data Augmentation (DA) strategies have been proposed to overcome some of these limitations. One of the most popular is Mixup, which has shown a great ability to improve the accuracy of these models. Recent work has provided evidence that Mixup also improves the uncertainty quantification and calibration of DNN. In this work, we argue and provide empirical evidence that, due to its fundamentals, Mixup does not necessarily improve calibration. Based on our observations we propose a new loss function that improves the calibration, and also sometimes the accuracy. Our loss is inspired by Bayes decision theory and introduces a new training framework for designing losses for probabilistic modelling. We provide state-of-the-art accuracy with consistent improvements in calibration performance.

研究动机与目标

• 为解决尽管准确率有所提升，混合训练深度神经网络中长期存在的校准性能差的问题。
• 探究为何尽管Mixup能提升准确率和不确定性估计，却不能始终改善校准性能。
• 开发一种基于贝叶斯决策理论的新损失函数，以在不牺牲准确率的前提下提升置信度校准性能。
• 提供一种可推广的训练框架，用于在概率深度学习中设计校准感知的损失函数。

提出的方法

• 提出一种受贝叶斯决策理论启发的新型基于置信度的损失函数，直接优化良好校准的置信度分数。
• 引入一种训练框架，通过基于预测不确定性的置信度惩罚项，对标准交叉熵损失进行修改。
• 采用标准交叉熵与置信度正则化的加权组合，以平衡准确率与校准性能。
• 采用动态置信度加权方案，在训练过程中对过度自信的预测施加更强惩罚。
• 在混合训练中应用新损失函数，以纠正Mixup导致在分布外数据上产生过度自信预测的倾向。
• 引入一种校准感知的训练目标，显式最小化校准偏差，同时保持或提升准确率。

实验结果

研究问题

• RQ1 Mixup是否本质上能改善模型校准，还是其优势仅限于准确率和不确定性估计？
• RQ2 在混合训练模型中观察到的校准局限性的根本原因是什么？
• RQ3 基于贝叶斯决策理论推导出的基于置信度的损失函数能否在不降低准确率的前提下有效改善校准性能？
• RQ4 所提出的损失函数在不同数据集和模型架构上的校准与准确率表现如何？

主要发现

• 尽管Mixup对准确率和不确定性量化有积极影响，但其并不能始终改善模型校准性能。
• 所提出的基于置信度的损失函数在多个基准数据集上显著提升了校准性能。
• 该方法在实现最先进准确率的同时，还通过期望校准误差（ECE）指标实现了更优的校准性能。
• 实证结果表明，该方法在不同模型架构和数据分布下均实现了校准性能的一致性提升。
• 该损失函数有效降低了预测中的过度自信，尤其在分布外样本上表现明显。
• 该训练框架通过使模型置信度与实际预测可靠性对齐，实现了更好的泛化能力。