[论文解读] Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification

Antoine de Mathelin, François Deheeger+2 more|arXiv (Cornell University)|Apr 8, 2023

Adversarial Robustness in Machine Learning参考文献 47被引用 4

一句话总结

本文提出深度反正则化集成（DARE），通过在训练过程中惩罚小权重以提升分布外（OOD）区域的输出方差，从而增强深度学习中的分布外不确定性量化，同时通过动态损失控制机制在不损失分布内准确率的前提下实现性能优化。DARE 在无需分布外数据或超参数调优的情况下，实现了当前最优的 OOD 检测性能。

ABSTRACT

We consider the problem of uncertainty quantification in high dimensional regression and classification for which deep ensemble have proven to be promising methods. Recent observations have shown that deep ensemble often return overconfident estimates outside the training domain, which is a major limitation because shifted distributions are often encountered in real-life scenarios. The principal challenge for this problem is to solve the trade-off between increasing the diversity of the ensemble outputs and making accurate in-distribution predictions. In this work, we show that an ensemble of networks with large weights fitting the training data are likely to meet these two objectives. We derive a simple and practical approach to produce such ensembles, based on an original anti-regularization term penalizing small weights and a control process of the weight increase which maintains the in-distribution loss under an acceptable threshold. The developed approach does not require any out-of-distribution training data neither any trade-off hyper-parameter calibration. We derive a theoretical framework for this approach and show that the proposed optimization can be seen as a "water-filling" problem. Several experiments in both regression and classification settings highlight that Deep Anti-Regularized Ensembles (DARE) significantly improve uncertainty quantification outside the training domain in comparison to recent deep ensembles and out-of-distribution detection methods. All the conducted experiments are reproducible and the source code is available at \url{https://github.com/antoinedemathelin/DARE}.

研究动机与目标

• 为解决深度集成在分布外（OOD）数据上产生过度自信预测这一关键局限性。
• 解决提升集成多样性以应对 OOD 区域与保持准确的分布内预测之间的权衡。
• 开发一种无需依赖 OOD 训练数据或复杂超参数校准即可增强不确定性量化的方法。
• 为真实世界深度学习部署提供一种理论基础扎实且实用的可靠不确定性估计方法。

提出的方法

• 引入一种反正则化项，在训练过程中惩罚小权重，以促进大权重网络的形成。
• 采用一种动态控制过程，仅在训练损失持续高于阈值时激活权重增加，从而确保分布内准确率得以保持。
• 将优化过程视为一种“注水”问题，从理论上构建权重大小与泛化能力之间的平衡关系。
• 将该方法应用于具有分段线性激活函数的全连接网络，并通过用 DARE 头替换最后一层的方式将其扩展至残差网络。
• 使用均方误差损失和基于 logits 的不确定性评分，而非 softmax，以保留权重缩放对不确定性的影响。
• 采用一种简单且可扩展的训练协议，无需额外的 OOD 数据或基于验证的超参数调优。

实验结果

研究问题

• RQ1 对小权重进行反正则化是否能改善深度集成在分布外区域的不确定性量化？
• RQ2 如何在不降低分布内性能的前提下，提升模型在训练分布外区域的集成多样性？
• RQ3 动态权重控制机制是否能在维持训练损失的同时促进大权重和高输出方差？
• RQ4 所提出的方法是否能在不使用 OOD 数据或超参数调优的情况下，超越现有的深度集成与 OOD 检测技术？

主要发现

• DARE 显著提升了 OOD 不确定性量化性能，在相机位移实验中，相比标准深度集成，OOD 的负对数似然（NLL）降低了 2.4。
• 在天气位移实验中，DARE 达到了最佳的 ECE 得分，表明其对 OOD 数据的校准性能更优。
• 在 CIFAR10 上以 Fashion-MNIST 作为 OOD 数据时，DARE 相比基线深度集成将 AUROC 提升了 34 个百分点，且分布内准确率仅下降 2 个百分点。
• 在 Fashion-MNIST 上以 SVHN 作为 OOD 数据时，DARE 相比基线实现了 8 个百分点的 AUROC 提升，同时保持了较强的分布内性能。
• 即使将方法应用于 ResNet32 主干网络，通过将最后一层替换为 DARE 优化的全连接头，该方法依然有效。
• 实验表明，当 λ=0（无反正则化）时，权重增加可忽略；而当 λ=1 时，损失发生爆炸，从而证实了动态控制机制的必要性。