[论文解读] Can We Trust You? On Calibration of a Probabilistic Object Detector for Autonomous Driving

Di Feng, Lars Rosenbaum+3 more|arXiv (Cornell University)|Sep 26, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用 30

一句话总结

本文识别并解决了概率性LiDAR 3D目标检测器中的不确定性校准问题，提出三种校准方法——温度缩放、等渗回归以及一种新型损失函数，显著提升了跨数据集的校准性能。这些方法将期望校准误差（ECE）降低了高达85%，并在未见数据上表现出良好的泛化能力，从而增强了自动驾驶系统的可靠性。

ABSTRACT

Reliable uncertainty estimation is crucial for perception systems in safe autonomous driving. Recently, many methods have been proposed to model uncertainties in deep learning based object detectors. However, the estimated probabilities are often uncalibrated, which may lead to severe problems in safety critical scenarios. In this work, we identify such uncertainty miscalibration problems in a probabilistic LiDAR 3D object detection network, and propose three practical methods to significantly reduce errors in uncertainty calibration. Extensive experiments on several datasets show that our methods produce well-calibrated uncertainties, and generalize well between different datasets.

研究动机与目标

• 识别并诊断自动驾驶中基于深度学习的概率性LiDAR 3D目标检测器中的不确定性校准问题。
• 解决分类和边界框回归任务中预测结果过度自信与不自信的问题。
• 开发实用的校准技术，在不降低推理速度的前提下提升不确定性校准效果。
• 评估校准方法在不同数据集和数据稀疏性水平下的鲁棒性与泛化能力。
• 探讨当回归变量存在依赖关系时边缘概率校准的局限性，并提出未来开展联合不确定性建模研究的建议。

提出的方法

• 作者采用改进的PIXOR网络，通过直接建模方法预测分类得分及对应的边界框参数与不确定性。
• 应用等渗回归与温度缩放对分类得分进行校准，提升其与实际准确率的一致性。
• 针对边界框回归任务，将校准技术扩展至六维输出空间（dx, dy, l, w, θ, log-l, log-w），并利用置信区间评估覆盖率。
• 提出一种新型训练损失函数，在网络训练过程中通过鼓励生成校准良好的不确定性估计来减少校准误差。
• 校准模型在KITTI数据集的一个子集上进行训练，并在KITTI和更具多样性的nuScenes数据集上进行评估，以检验泛化能力。
• 采用期望校准误差（ECE）作为性能评估指标，ECE越低表示校准效果越好。

实验结果

研究问题

• RQ1 概率性LiDAR 3D目标检测器中的不确定性校准问题在分类和边界框回归任务中如何表现？
• RQ2 后处理校准技术（如温度缩放和等渗回归）是否能有效降低目标检测中的不确定性校准偏差？
• RQ3 当仅使用少量数据（如校准数据集的1%）进行训练时，校准方法的鲁棒性如何？
• RQ4 在某一数据集（如KITTI）上训练的校准模型，能在多大程度上泛化到具有不同传感器配置和环境条件的另一数据集（如nuScenes）？
• RQ5 回归变量之间（如dy与l）的依赖关系对边缘不确定性校准有何影响？该问题应如何解决？

主要发现

• 未经校准的基线模型在nuScenes数据集上表现出严重的校准偏差，期望校准误差（ECE）高达0.218。
• 仅使用nuScenes数据集1%的样本进行训练的温度缩放方法，可将ECE降低至0.078，表明其对小规模校准数据集具有极强的鲁棒性。
• 在nuScenes数据集1%的样本上训练的等渗回归方法，实现了最低的ECE（0.030），优于其他方法，展现出优异的泛化能力。
• 校准方法显著提升了置信区间的覆盖率：校准后，100%的真实位置被预测区间覆盖，而未经校准的模型则有30%的真实位置未被覆盖。
• 该方法在分类和回归任务中均有效降低了校准偏差，校准后的预测结果在预测置信度与实际准确率之间表现出更好的一致性。
• 研究发现dy（纵向位置）与l（长度）预测误差之间存在较强相关性（皮尔逊相关系数PCC = 0.62），表明当变量存在依赖关系时，边缘校准可能不足。