[论文解读] Calibrating Uncertainties in Object Localization Task

Buu Phan, Rick Salay+4 more|arXiv (Cornell University)|Nov 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 14被引用 19

一句话总结

本文通过将 Kuleshov 等人提出的回归校准方法适配至基于贝叶斯神经网络（BNN）的边界框预测，解决了目标定位中不确定性估计不准的问题。结果表明，经过校准的不确定性可显著提升可靠性，将牛津-IIIT 宠物数据集上所有边界框坐标的校准均方误差从 2.7×10⁻² 降低至 2.7×10⁻⁴。

ABSTRACT

In many safety-critical applications such as autonomous driving and surgical robots, it is desirable to obtain prediction uncertainties from object detection modules to help support safe decision-making. Specifically, such modules need to estimate the probability of each predicted object in a given region and the confidence interval for its bounding box. While recent Bayesian deep learning methods provide a principled way to estimate this uncertainty, the estimates for the bounding boxes obtained using these methods are uncalibrated. In this paper, we address this problem for the single-object localization task by adapting an existing technique for calibrating regression models. We show, experimentally, that the resulting calibrated model obtains more reliable uncertainty estimates.

研究动机与目标

• 研究目标定位任务中不确定性估计的可靠性，特别是边界框坐标的可靠性。
• 识别出贝叶斯神经网络（BNN）虽能生成校准良好的分类不确定性，但其定位不确定性却严重校准偏差。
• 解决二维单目标分类与定位（SOCL）任务中定位不确定性的校准偏差问题。
• 将回归校准技术适配至边界框不确定性估计，以提升其可靠性。
• 通过可靠性图和均方误差（MSE）指标，在牛津-IIIT 宠物数据集上验证校准方法的有效性。

提出的方法

• 使用带有蒙特卡洛 dropout 的贝叶斯神经网络（BNN），为每个边界框坐标估计预测均值与方差（认知不确定性 + 随机不确定性）。
• 将预测的边界框坐标建模为独立的正态分布：$ p(b_i|\mathbf{x}) = \mathcal{N}(\bar{b}_i, \bar{\sigma}^2_i) $。
• 应用正态分布的累积分布函数（CDF）计算置信区间：$ P_{b_i|\mathbf{x}}(z) = \Phi(z|\bar{b}_i, \bar{\sigma}^2_i) $。
• 利用逆 CDF 将置信水平 $ q $ 映射为预测区间边界：$ P^{-1}_{b_i|\mathbf{x}}(q) $，从而定义 $ 100q\% $ 的置信区间。
• 使用参数化回归模型 $ R_i $ 校准模型，将预测的 CDF 值映射至实际观测覆盖率。
• 利用验证数据拟合校准函数 $ R_i $，以调整预测不确定性，使其与实际覆盖率频率一致。

实验结果

研究问题

• RQ1 基于 BNN 的目标检测器中，边界框坐标的不确定性估计是否校准良好？
• RQ2 定位不确定性的校准偏差是否会导致实际应用中产生不可靠的置信区间？
• RQ3 现有回归校准技术能否被适配以提升边界框不确定性估计的可靠性？
• RQ4 校准如何影响预测与实际覆盖率之间均方误差（MSE）？
• RQ5 该校准方法在 SOCL 任务的四个边界框坐标（x_min, y_min, x_max, y_max）上是否均有效？

主要发现

• 原始 BNN 模型的定位不确定性存在显著校准偏差：预期的 40% 置信区间仅覆盖 20% 的真实值，而 60% 的区间却覆盖了 80% 的真实值。
• 校准后，估计的 20% 置信区间约覆盖 20% 的真实边界框坐标，表明其可靠性显著提升。
• 校准后，所有四个边界框坐标上的预测与实际覆盖率之间均方误差（MSE）从 2.7×10⁻² 降低至 2.7×10⁻⁴。
• 通过 MC-dropout 估计的分类不确定性已校准良好（MSE = 3.0×10⁻³），而原始权重缩放方法则表现出更高的校准偏差（MSE = 1.6×10⁻²）。
• 校准后的模型生成了更可靠的 95% 置信区间，如图 1d 所示，蓝色区域（95% 区间）在大多数情况下可靠地包络了真实值（粉红色）。
• 校准过程高效且计算成本极低，对不确定性估计和校准本身几乎无额外开销，尽管认知不确定性估计仍具较高计算成本。