[论文解读] Empirical Frequentist Coverage of Deep Learning Uncertainty Quantification Procedures

Benjamin Kompa|arXiv (Cornell University)|Nov 30, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用 25

一句话总结

本文评估了深度学习不确定性量化方法（如贝叶斯神经网络、蒙特卡洛 dropout 和集成模型）在存在和不存在数据分布偏移的回归与分类任务中的经验频次覆盖情况。研究发现，尽管某些方法在分布内数据上实现了良好的覆盖，但在分布偏移下覆盖性能显著下降，凸显了其在实际部署中的关键局限性。

ABSTRACT

Uncertainty quantification for complex deep learning models is increasingly important as these techniques see growing use in high-stakes, real-world settings. Currently, the quality of a model’s uncertainty is evaluated using point-prediction metrics, such as the negative log-likelihood (NLL), expected calibration error (ECE) or the Brier score on held-out data. Marginal coverage of prediction intervals or sets, a well-known concept in the statistical literature, is an intuitive alternative to these metrics but has yet to be systematically studied for many popular uncertainty quantification techniques for deep learning models. With marginal coverage and the complementary notion of the width of a prediction interval, downstream users of deployed machine learning models can better understand uncertainty quantification both on a global dataset level and on a per-sample basis. In this study, we provide the first large-scale evaluation of the empirical frequentist coverage properties of well-known uncertainty quantification techniques on a suite of regression and classification tasks. We find that, in general, some methods do achieve desirable coverage properties on in distribution samples, but that coverage is not maintained on out-of-distribution data. Our results demonstrate the failings of current uncertainty quantification techniques as dataset shift increases and reinforce coverage as an important metric in developing models for real-world applications.

研究动机与目标

• 评估深度学习中流行不确定性量化技术的经验频次覆盖性能。
• 研究在回归与分类任务中，分布偏移下覆盖性能的变化情况。
• 评估覆盖度与区间宽度作为真实世界部署中可解释性与实用性的度量指标。
• 在多样化基准上，通过覆盖度、区间宽度、Brier 评分和 ECE 比较不确定性方法。
• 证明覆盖度是比传统校准分数更直观、更可靠的度量指标，尤其对临床医生等下游用户而言。

提出的方法

• 采用边际覆盖作为度量指标：真实标签落在预测 95% 预测区间或集合中的比例。
• 在分布内测试集和分布外的损坏数据（CIFAR-10-C、ImageNet-C）上测量覆盖性能，以评估在数据分布偏移下的鲁棒性。
• 使用标准的不确定性量化技术：深度集成、蒙特卡洛 dropout、随机变分推断（SVI）、高斯过程以及温度缩放。
• 通过训练集标准差（回归任务）或平均集合大小（分类任务）计算预测区间宽度，以评估校准效率。
• 采用嵌套交叉验证来使用验证损失调优超参数，反映真实世界实践者的工作流程。
• 通过覆盖度、区间宽度、Brier 评分和期望校准误差（ECE）比较方法，评估各度量指标间的一致性。

实验结果

研究问题

• RQ1 流行不确定性量化方法在数据分布偏移下是否仍能保持 95% 的边际覆盖？
• RQ2 预测区间宽度与数据分布偏移及覆盖性能之间的相关性如何？
• RQ3 覆盖度排名与 ECE 和 Brier 评分等传统指标的排名相比如何？
• RQ4 哪些不确定性方法在多样化基准和不同偏移水平下提供了最稳健的覆盖性能？
• RQ5 预测区间宽度能否作为现实应用中检测数据分布偏移的软性代理指标？

主要发现

• 与 SVI 和高斯过程相比，集成模型、温度缩放和 dropout 方法在 ImageNet-C 和 CIFAR-10-C 损坏数据上保持了更高的覆盖度。
• 即使预测区间宽度增加，覆盖度在分布偏移下仍显著下降，表明其鲁棒性不足。
• SVI 和 LL-SVI 在回归任务中实现了最高覆盖度与最小区间宽度。
• 在 MNIST 上，预测集合宽度与平移偏移幅度的皮尔逊相关系数达到 0.9，表明宽度可作为分布偏移的代理指标。
• 覆盖度排名与 ECE 和 Brier 评分排名高度一致，但覆盖度被认定对非技术用户更具可解释性。
• 没有任何方法在分布外数据上维持 95% 的覆盖度，除非区间宽度显著增加，而这种增加仍不足以维持覆盖水平。