[论文解读] LET-3D-AP: Longitudinal Error Tolerant 3D Average Precision for Camera-Only 3D Detection

Wei-Chih Hung, Vincent Casser+3 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文提出了 LET-3D-AP 和 LET-3D-APL，两种新型的 3D 平均精度（3D Average Precision）度量指标，通过允许预测框在深度误差在可配置容差范围内时与真实框匹配，从而容忍仅用摄像头进行 3D 目标检测时的纵向定位误差。该方法通过沿视线方向调整预测框以减少纵向误差，显著提升了检测评估的性能得分，且结果更加合理——尤其在行人和远距离物体上表现突出，已在 Waymo Open Dataset 的 3D 仅摄像头检测挑战赛中得到验证。

ABSTRACT

The 3D Average Precision (3D AP) relies on the intersection over union between predictions and ground truth objects. However, camera-only detectors have limited depth accuracy, which may cause otherwise reasonable predictions that suffer from such longitudinal localization errors to be treated as false positives. We therefore propose variants of the 3D AP metric to be more permissive with respect to depth estimation errors. Specifically, our novel longitudinal error tolerant metrics, LET-3D-AP and LET-3D-APL, allow longitudinal localization errors of the prediction boxes up to a given tolerance. To evaluate the proposed metrics, we also construct a new test set for the Waymo Open Dataset, tailored to camera-only 3D detection methods. Surprisingly, we find that state-of-the-art camera-based detectors can outperform popular LiDAR-based detectors with our new metrics past at 10% depth error tolerance, suggesting that existing camera-based detectors already have the potential to surpass LiDAR-based detectors in downstream applications. We believe the proposed metrics and the new benchmark dataset will facilitate advances in the field of camera-only 3D detection by providing more informative signals that can better indicate the system-level performance.

研究动机与目标

• 解决标准 3D 平均精度（3D AP）因深度估计误差而对合理的基于摄像头的 3D 检测结果施加过度惩罚的问题。
• 通过在预测与真实框匹配过程中引入纵向误差容限，提升仅摄像头 3D 检测器的评估保真度。
• 提供更具信息量的性能信号，真实反映尽管存在单目方法固有的深度不准确性，检测的实际质量。
• 通过减少由纵向错位导致的假阳性和假阴性，实现更公平的仅摄像头 3D 检测基准测试。
• 通过使评估指标与最先进模型的实际性能对齐，推动单目 3D 检测技术的发展。

提出的方法

• 将纵向误差定义为从相机到真实框中心沿视线方向的偏差。
• 引入纵向亲和度（longitudinal affinity）以量化预测框在可配置容差范围内（例如距离的 10%）与真实框的接近程度。
• 通过沿视线方向移动预测框以最小化其与真实框中心的距离，从而校正预测框，减少纵向误差。
• 使用校正后的框计算新的交并比（IoU），称为纵向误差容限 IoU（LET-IoU）。
• 基于纵向亲和度和 LET-IoU 的加权得分执行二分图匹配，以分配真正例、假正例和假负例。
• 定义两种度量指标：LET-3D-AP（不惩罚纵向误差）和 LET-3D-APL（通过纵向亲和度缩放惩罚误差），两者均用于评估。

实验结果

研究问题

• RQ1 由于对深度估计误差敏感，标准 3D AP 度量在多大程度上未能反映仅摄像头 3D 检测器的真实性能？
• RQ2 如何在不损害检测保真度的前提下，在 3D 检测评估流程中建模并容忍纵向定位误差？
• RQ3 是否可以通过考虑纵向位移的改进 IoU 计算方式，提升预测框与真实框之间的匹配准确性？
• RQ4 LET-3D-AP 和 LET-3D-APL 度量在多大程度上能更真实地反映单目 3D 检测器在不同物体类别和距离范围内的实际检测质量，相较于标准 3D AP？
• RQ5 所提出的度量指标在多大程度上揭示了最先进仅摄像头检测器之间真实存在的性能差异，而这些差异在标准度量中被掩盖？

主要发现

• 在 0.7 IoU 阈值下，对于车辆类别，仅摄像头检测器的 LET-3D-AP 从 3.1% 提升至 23.0%，相较于标准 3D AP 显著提升。
• 在行人和远距离物体（距离 >50m）上，LET-3D-AP 相较于 3D AP 的提升尤为显著，凸显了该度量对纵向误差的敏感性。
• 不同距离区间的平均纵向亲和度（mLA）保持稳定（例如 0.776–0.830），支持了深度误差与距离近似成比例的假设。
• 在 Waymo Open Dataset 3D 仅摄像头检测挑战赛中，所有顶尖模型的 LET-3D-AP 显著高于 3D AP，其差距表明真正例中存在较高的纵向误差。
• 与基于 LiDAR 的检测器相比，仅摄像头检测器的 LET-3D-AP 与 LET-3D-APL 之间的差距更大，表明单目方法中纵向定位误差更严重。
• 所提出的度量指标被采纳为 2022 年 Waymo Open Dataset 3D 仅摄像头检测挑战赛的主要和次要评估指标，验证了其在实际基准测试中的实用价值和广泛采纳。