[论文解读] Calibrated and Sharp Uncertainties in Deep Learning via Density Estimation

Volodymyr Kuleshov, Shachi Deshpande|arXiv (Cornell University)|Dec 14, 2021

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出了一种简单、通用的深度学习模型重校准方法，通过低维密度估计实现分布校准，确保概率预测既校准良好又具有高精度。该方法使用分位数函数回归来重新映射预测分布，在保持高准确率的同时，优于以往方法在分类和回归任务中的校准性能。

ABSTRACT

Accurate probabilistic predictions can be characterized by two properties -- calibration and sharpness. However, standard maximum likelihood training yields models that are poorly calibrated and thus inaccurate -- a 90% confidence interval typically does not contain the true outcome 90% of the time. This paper argues that calibration is important in practice and is easy to maintain by performing low-dimensional density estimation. We introduce a simple training procedure based on recalibration that yields calibrated models without sacrificing overall performance; unlike previous approaches, ours ensures the most general property of distribution calibration and applies to any model, including neural networks. We formally prove the correctness of our procedure assuming that we can estimate densities in low dimensions and we establish uniform convergence bounds. Our results yield empirical performance improvements on linear and deep Bayesian models and suggest that calibration should be increasingly leveraged across machine learning. We release a library that implements our methods along with a blog post here: https://shachideshpande.github.io/blog-distribution-calibration/.

研究动机与目标

• 为解决通过最大似然训练的深度学习模型中普遍存在的不确定性校准不良问题。
• 开发一种通用、简单且理论基础扎实的方法，实现跨多种模型（包括神经网络）的分布校准。
• 在不牺牲模型性能的前提下，同时提升预测不确定性的校准性和精确性。
• 形式化并实证验证一个保证渐近分布校准且遗憾趋于零的框架。
• 证明分布校准比以往认为的更易实现且更具实用性，从而推动其在机器学习中的广泛应用。

提出的方法

• 该方法通过分位数函数回归，学习从预测分位数到观测校准统计量的映射关系，实现重校准。
• 它估计条件密度 P(Y | F)，其中 F 为预报分布，通过调整每个预报特征的不确定性来实现分布校准。
• 使用神经网络或简单回归器 R 将预测分位数映射为校准后的分位数，以最小化校准误差目标函数。
• 该方法假设低维密度估计是可行的，并利用一致收敛界来确保理论正确性。
• 它通过允许按预报调整方差，而非仅进行全局校准，从而推广了 Platt 校准和等高回归方法。
• 该框架支持分类和回归任务，且可仅用几行代码实现，具有广泛的可访问性。

实验结果

研究问题

• RQ1 是否能以高效且通用的方式在不同深度学习模型中实现分布校准，同时不牺牲预测性能？
• RQ2 低维密度估计如何使校准效果优于现有基于分位数的重校准方法？
• RQ3 对于确保渐近分布校准的重校准程序，可提供哪些理论保证？
• RQ4 是否一种简单、端到端可训练的方法能优于复杂的变分近似方法在不确定性校准方面的表现？
• RQ5 分布校准在多大程度上改善了贝叶斯模型和深度学习模型中的不确定性质量？

主要发现

• 所提出的重校准方法在分布校准方面优于 Platt 校准、温度缩放以及 Song 等人（2019）提出的基于变分推断的方法。
• 实证结果表明，在线性模型、贝叶斯神经网络和卷积神经网络的分类任务中，校准指标均表现出一致改进。
• 该方法在显著提升不确定性质量的同时，保持了高预测准确率，这一结果通过 proper scoring rules 和校准曲线得到验证。
• 该方法能够生成更紧密、更可靠的可信区间——例如，90% 的可信区间能以约 90% 的频率正确覆盖真实结果，且区间宽度相比基线方法更小。
• 理论分析建立了统一收敛界，并证明该方法能以趋于零的遗憾实现渐近分布校准。
• 该方法计算高效且易于实现，仅需几行代码即可集成到现有模型中。