[论文解读] Diversity regularization in deep ensembles

Changjian Shui, Azadeh Sadat Mozafari+3 more|arXiv (Cornell University)|Feb 22, 2018

Neural Networks and Applications参考文献 6被引用 8

一句话总结

本文提出通过负相关（Negative Correlation, NC）正则化训练深度神经网络集成，以在不损失准确率的前提下提升模型校准性能。通过在损失函数中显式引入多样性正则化项，强制集成成员之间的差异性，该方法显著降低了期望校准误差（Expected Calibration Error, ECE），尤其在较大集成规模下效果明显，同时在CIFAR-100和CIFAR-10数据集上保持了较高的预测性能。

ABSTRACT

Calibrating the confidence of supervised learning models is important for a variety of contexts where the certainty over predictions should be reliable. However, it has been reported that deep neural network models are often too poorly calibrated for achieving complex tasks requiring reliable uncertainty estimates in their prediction. In this work, we are proposing a strategy for training deep ensembles with a diversity function regularization, which improves the calibration property while maintaining a similar prediction accuracy.

研究动机与目标

• 为解决深度神经网络中校准性能不佳的问题，特别是集成设置下随着集成规模增大导致模型变得过度不自信的问题。
• 在不降低预测准确率的前提下，提升深度集成的校准性能。
• 探究通过负相关（NC）正则化显式强制集成成员之间多样性是否能增强校准效果。
• 评估NC正则化在不同集成规模和数据集上的有效性。

提出的方法

• 该方法在每个集成成员的训练过程中，将基于负相关的多样性正则化项引入损失函数。
• 多样性度量定义为：每个网络输出相对于集成平均值的偏差，与其它网络相对于平均值的偏差之和的乘积。
• 在反向传播过程中，将集成平均值视为相对于单个网络的常量，从而实现稳定的梯度更新。
• 每个网络的总体损失为交叉熵分类损失与带超参数λ的加权多样性正则化项之和。
• 最终预测结果通过集成中所有M个网络输出的平均值得到。
• 该方法在CIFAR-100上采用带批量归一化的VGG-11，以及在CIFAR-10上采用改进的AlexNet上进行了评估。

实验结果

研究问题

• RQ1 通过负相关正则化强制提升深度集成成员之间的多样性，是否能改善模型校准性能？
• RQ2 在不同集成规模下，NC正则化集成与纯集成相比，在期望校准误差（ECE）和准确率方面表现如何？
• RQ3 NC正则化能否缓解大规模纯集成中观察到的过度不自信问题？
• RQ4 所提出的方法是否在提升校准性能的同时保持高准确率，尤其是在复杂分类任务中？

主要发现

• 在M=7时，NC正则化集成在CIFAR-100上的ECE为2.5%，显著低于相同条件下纯集成的4.3%。
• 在M=11时，NC正则化集成将ECE降低至3.9%，而纯集成的ECE为6.9%，表明该方法在大规模集成中仍具有优越的校准性能。
• 该方法保持了高准确率——NC正则化为0.7096，纯集成为0.7146，表明性能未出现下降。
• 在CIFAR-100的“people”超类上，NC正则化集成的置信度-准确率差异仅为0.02，而纯集成为0.05，表明其校准性能更优。
• 单个网络基线模型表现出过度自信（平均差异为0.12），而纯集成模型则表现出过度不自信（差异为0.05），但NC正则化将平均差异降至0.02。
• 该方法有效缓解了过度自信和过度不自信问题，NC正则化集成在所有类别上均表现出平衡的置信度估计。