[论文解读] Inferring Spatial Uncertainty in Object Detection

Zining Wang, Di Feng+6 more|arXiv (Cornell University)|Mar 7, 2020

Advanced Neural Network Applications参考文献 39被引用 7

一句话总结

本文提出一种生成模型，用于推断基于激光雷达的物体检测边界框标注中的空间不确定性，通过空间分布表示不确定性。该文引入了Jaccard IoU（JIoU），作为IoU的概率扩展，融合了标注不确定性，在KITTI和Waymo数据集上相比标准IoU，展现出更优的性能评估表现，适用于概率检测器。

ABSTRACT

The availability of real-world datasets is the prerequisite for developing object detection methods for autonomous driving. While ambiguity exists in object labels due to error-prone annotation process or sensor observation noises, current object detection datasets only provide deterministic annotations without considering their uncertainty. This precludes an in-depth evaluation among different object detection methods, especially for those that explicitly model predictive probability. In this work, we propose a generative model to estimate bounding box label uncertainties from LiDAR point clouds, and define a new representation of the probabilistic bounding box through spatial distribution. Comprehensive experiments show that the proposed model represents uncertainties commonly seen in driving scenarios. Based on the spatial distribution, we further propose an extension of IoU, called the Jaccard IoU (JIoU), as a new evaluation metric that incorporates label uncertainty. Experiments on the KITTI and the Waymo Open Datasets show that JIoU is superior to IoU when evaluating probabilistic object detectors.

研究动机与目标

• 为解决确定性目标检测数据集中缺乏不确定性表示的问题，特别是针对基于激光雷达的3D边界框标注。
• 对真实世界驾驶数据集中由传感器噪声和标注模糊性引发的固有标注不确定性进行建模。
• 开发一种空间分布表示方法，用于可视化和量化2D/3D空间中的标注不确定性。
• 提出Jaccard IoU（JIoU）作为新评估度量，考虑标注不确定性，实现对概率目标检测器更公平的评估。
• 在KITTI和Waymo数据集上验证JIoU在评估最先进概率检测器不确定性估计质量方面的有效性。

提出的方法

• 在激光雷达点云上训练生成模型，以推断边界框标注的空间分布，捕捉位置、尺寸和方向的不确定性。
• 将空间分布建模为边界框参数（中心点、长、宽、航向）的多变量高斯分布，采用非对角协方差矩阵以表示参数间的相关性。
• 通过将生成模型拟合到观测到的激光雷达点，结合传感器噪声和标注模糊性作为先验知识，推断标注不确定性。
• Jaccard IoU（JIoU）被定义为两个空间分布之间的交并比，将标准IoU推广至概率框。
• 该方法使用蒙特卡洛采样计算预测分布与真实标注分布之间的JIoU，实现不确定性感知的评估。
• 对校准的概率检测器（如CalibProbPIXOR）应用温度缩放，以改善不确定性校准，其效果通过JIoU进行评估。

实验结果

研究问题

• RQ1 如何系统地建模和量化基于激光雷达的物体检测边界框标注中的空间不确定性？
• RQ2 与标准IoU相比，引入标注不确定性在多大程度上能提升对概率检测器的评估效果？
• RQ3 当IoU分数相似但不确定性水平不同时，Jaccard IoU（JIoU）能否有效区分检测质量？
• RQ4 通过温度缩放进行不确定性校准，对概率检测器的JIoU性能有何影响？
• RQ5 在高置信度阈值下，JIoU是否比IoU更有效地惩罚预测与标注之间的分布不匹配，尤其是如此？

主要发现

• JIoU分数与IoU保持一致相关性，但提供了额外的不确定性感知信息，使在模糊情况下的检测质量评估更加准确。
• 在激光雷达观测稀疏的情况下（如物体背面），真实标注的JIoU已较低（如0.39），表明忽略标注不确定性时，高IoU分数具有误导性。
• 两个检测的IoU相同，但因标注和预测不确定性分布不同，其JIoU分数可能不同，证明了JIoU具备更丰富的评估能力。
• 温度缩放通过减少过度自信，整体提升了JIoU，但并未保证每个样本的性能均提升，部分检测在校准后JIoU反而下降。
• 概率检测器（ProbPIXOR和CalibProbPIXOR）在IoU阈值下相比确定性PIXOR表现出一致的召回率增益，但在高JIoU阈值下性能急剧下降，原因在于对称的不确定性分布。
• 在高JIoU阈值下性能下降表明，当前采用对称分布的概率检测器未能匹配标注的空间不确定性结构，凸显了对更优回归编码或相关不确定性建模的迫切需求。