[论文解读] Heteroscedastic Calibration of Uncertainty Estimators in Deep Learning

Bindya Venkatesh, Jayaraman J. Thiagarajan|arXiv (Cornell University)|Oct 30, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用 5

一句话总结

本文提出了一种单次校准方法，将异方差回归目标重新用作校准的代理目标，使任何现有的不确定性估计算法（如蒙特卡洛丢弃或分位数方法）能够在无需事后校准的情况下，直接生成内在校准的预测区间。该方法在基准回归数据集上同时提升了校准度与平均预测精度。

ABSTRACT

The role of uncertainty quantification (UQ) in deep learning has become crucial with growing use of predictive models in high-risk applications. Though a large class of methods exists for measuring deep uncertainties, in practice, the resulting estimates are found to be poorly calibrated, thus making it challenging to translate them into actionable insights. A common workaround is to utilize a separate recalibration step, which adjusts the estimates to compensate for the miscalibration. Instead, we propose to repurpose the heteroscedastic regression objective as a surrogate for calibration and enable any existing uncertainty estimator to be inherently calibrated. In addition to eliminating the need for recalibration, this also regularizes the training process. Using regression experiments, we demonstrate the effectiveness of the proposed heteroscedastic calibration with two popular uncertainty estimators.

研究动机与目标

• 为解决深度学习中不确定性估计算法校准度差的问题，特别是在医疗保健和自动驾驶等高风险应用中。
• 消除以往研究中已表明可能导致不确定性估计失去意义的独立事后校准步骤。
• 通过训练过程中的隐式校准，使任何现有不确定性估计算法都能生成校准良好的预测区间。
• 对训练过程进行正则化，同时提升不确定性校准度与平均预测精度。
• 在使用认知不确定性与偶然不确定性估计算法的情况下，于多样化回归基准上验证该方法的有效性。

提出的方法

• 将异方差回归目标重新用作校准的代理目标，使用任何现有估计算法的不确定性估计值替代模型预测的方差。
• 使用估计的不确定性（如蒙特卡洛丢弃或分位数网络）作为损失函数中的方差项，优化高斯似然目标。
• 对于蒙特卡洛丢弃，通过 M 次带有丢弃的前向传播计算均值与方差；利用这些值计算异方差损失。
• 对于分位数基不确定性，训练模型以预测上、下分位数（τᵘ=0.9，τˡ=0.1），然后将标准差估计为 (ŷᵘ − ŷˡ)/2。
• 通过加权和联合优化异方差损失与分位数预测损失：λ_H·L_HNN + λ_u·L_τᵘ + λ_l·L_τˡ。
• 通过一次训练过程同时实现准确的均值预测与校准良好的预测区间，避免事后校准。

实验结果

研究问题

• RQ1 异方差回归目标能否被重新用作校准的代理目标，以生成内在校准的不确定性估计？
• RQ2 即使基线估计算法校准度较差，该方法是否仍能实现无需独立校准步骤的校准改进？
• RQ3 该方法在不同不确定性估计算法（如蒙特卡洛丢弃与分位数方法）上的表现如何？
• RQ4 通过异方差目标实现的隐式校准是否带来更好的正则化效果并提升平均预测精度？
• RQ5 与标准蒙特卡洛丢弃相比，该方法对超参数选择（如丢弃率 p）的鲁棒性如何？

主要发现

• 所提出的 Dropout-HC 与 Quantile-HC 方法实现了近乎完美的校准，如期望校准水平与实际校准水平的对比图所示，其结果点几乎完全沿对角线分布。
• 在全部 8 个 UCI 回归数据集上，两种方法相比基线蒙特卡洛丢弃与 HNN 方法，均显著降低了校准误差（CE）。
• 与标准蒙特卡洛丢弃不同，Dropout-HC 方法对丢弃率 p 的变化具有鲁棒性，而标准蒙特卡洛丢弃在不同 p 值下表现出较高的校准误差波动。
• 与标准蒙特卡洛丢弃在相同 p 值下相比，异方差校准导致不确定性估计（σ）的分布尾部更重。
• 该方法提升了平均预测精度，表现为所有数据集上均出现了更低的 RMSE 值，表明训练过程中具有更好的正则化效果。
• 异方差损失与分位数损失的联合优化，实现了准确的区间估计，同时保持了优异的校准性能。