[论文解读] An Uncertainty-aware Loss Function for Training Neural Networks with Calibrated Predictions

Afshar Shamsi, Hamzeh Asgharnezhad+3 more|arXiv (Cornell University)|Oct 7, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了两种新颖的不确定性感知损失函数，将交叉熵与期望校准误差（ECE）或预测熵（PE）相结合，用于训练蒙特卡洛丢弃（MC-Dropout）网络，以实现校准的不确定性预测。该方法显著减少了正确与错误预测之间不确定性分布的重叠，在不牺牲准确率的前提下，提升了在安全关键应用中的可靠性。

ABSTRACT

Uncertainty quantification of machine learning and deep learning methods plays an important role in enhancing trust to the obtained result. In recent years, a numerous number of uncertainty quantification methods have been introduced. Monte Carlo dropout (MC-Dropout) is one of the most well-known techniques to quantify uncertainty in deep learning methods. In this study, we propose two new loss functions by combining cross entropy with Expected Calibration Error (ECE) and Predictive Entropy (PE). The obtained results clearly show that the new proposed loss functions lead to having a calibrated MC-Dropout method. Our results confirmed the great impact of the new hybrid loss functions for minimising the overlap between the distributions of uncertainty estimates for correct and incorrect predictions without sacrificing the model's overall performance.

研究动机与目标

• 为解决深度学习模型在医疗诊断和自动驾驶等安全关键领域中缺乏校准的不确定性预测问题。
• 减少正确与错误预测之间不确定性分布的重叠，以更好地检测高风险输出。
• 在不降低模型准确率的前提下，提升蒙特卡洛丢弃（MC-Dropout）的校准性能。
• 开发一种训练框架，使神经网络能够自动为错误预测生成更高的不确定性估计。

提出的方法

• 提出一种混合损失函数，将交叉熵与期望校准误差（ECE）结合，以最小化预测的校准偏差。
• 引入第二种混合损失函数，将交叉熵与预测熵（PE）结合，以增强不确定性分离效果。
• 采用MC-Dropout作为不确定性量化方法，在推理过程中通过多次随机前向传播来估计预测不确定性。
• 采用多目标训练方法，同时优化准确率（通过交叉熵）和校准性（通过ECE或PE）。
• 在训练过程中应用新的损失函数，以鼓励正确预测的不确定性较低，而错误预测的不确定性较高。
• 在两个合成数据集（两个月球和聚类）上验证该方法，通过重复随机划分确保结果稳健性。

实验结果

研究问题

• RQ1 将交叉熵与ECE结合是否能改善蒙特卡洛丢弃预测的校准性？
• RQ2 将交叉熵与预测熵（PE）结合是否能增强正确与错误预测之间不确定性分布的分离？
• RQ3 所提出的损失函数是否在提升不确定性校准性的同时，保持或提高模型准确率？
• RQ4 与标准MC-Dropout和集成方法相比，该方法在不确定性分离和校准性方面表现如何？

主要发现

• 使用基于预测熵（PE）损失函数训练的MC-Dropout模型，正确与错误预测的平均不确定性之间距离最大（0.401），表明其具有更优的分离效果。
• 基于ECE的损失函数比标准MC-Dropout更有效地降低了校准误差，ECE在两个数据集上均有所下降。
• 基于PE的损失函数使正确预测的不确定性最低（μ₁ = 0.069%），错误预测的不确定性最高（μ₂ = 0.470%），从而最小化了分布重叠。
• 所提方法保持了高准确率（基于PE损失的准确率为98.333%，与标准MC-Dropout的98.333%相当），且基于ECE损失的准确率略有提升（98.667%）。
• 不确定性感知（UA）评分显示，基于PE的损失函数在增加随机动态噪声水平时，最能有效捕捉不确定性。
• ECE图证实，两种所提损失函数在两个数据集及不同噪声水平下均表现出一致更低的校准误差。