[论文解读] Deep Fitting Degree Scoring Network for Monocular 3D Object Detection

Lijie Liu, Jiwen Lu+3 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 2被引用 10

一句话总结

该论文提出了一种用于单目3D目标检测的深度拟合度评分网络（FQNet），通过仅使用2D图像线索来估计3D提议与真实物体之间的3D交并比（IoU），从而提升3D定位精度。该方法通过基于锚点的方法回归尺寸和方向，随后通过其在2D图像上的投影重叠来评分候选3D框，最终在KITTI数据集上实现了最先进性能，尤其在较高IoU阈值下显著优于以往的单目方法。

ABSTRACT

In this paper, we propose to learn a deep fitting degree scoring network for monocular 3D object detection, which aims to score fitting degree between proposals and object conclusively. Different from most existing monocular frameworks which use tight constraint to get 3D location, our approach achieves high-precision localization through measuring the visual fitting degree between the projected 3D proposals and the object. We first regress the dimension and orientation of the object using an anchor-based method so that a suitable 3D proposal can be constructed. We propose FQNet, which can infer the 3D IoU between the 3D proposals and the object solely based on 2D cues. Therefore, during the detection process, we sample a large number of candidates in the 3D space and project these 3D bounding boxes on 2D image individually. The best candidate can be picked out by simply exploring the spatial overlap between proposals and the object, in the form of the output 3D IoU score of FQNet. Experiments on the KITTI dataset demonstrate the effectiveness of our framework.

研究动机与目标

• 为解决单目3D目标检测中因缺乏深度线索、2D外观对定位估计存在歧义而导致的病态问题。
• 克服基于紧约束方法的局限性，此类方法对2D检测误差敏感，且未能充分利用视觉外观信息。
• 通过学习投影后3D提议与图像中物体在2D空间中的拟合度分数，提升3D定位精度。
• 仅使用单张单目图像实现高精度3D检测，不依赖立体视觉、RGB-D或点云数据。
• 建立统一的端到端检测流程，结合基于锚点的回归与深度拟合度评分，实现端到端3D检测。

提出的方法

• 使用锚点在3D空间中回归物体的尺寸和方向，生成初始的3D提议。
• 在3D空间中密集采样大量3D边界框候选，并将其投影到2D图像平面上。
• 训练拟合质量网络（FQNet）仅基于2D特征，预测每个投影后的3D提议与真实物体之间的3D IoU。
• FQNet利用2D投影与物体之间的空间重叠模式，推断3D空间关系，实现鲁棒的候选选择。
• 最终检测结果选择为FQNet预测的3D IoU分数最高的3D提议。
• 该框架通过在尺寸、方向和3D IoU预测上的多任务监督实现端到端训练。

实验结果

研究问题

• RQ1 能否有效利用投影3D提议的2D视觉线索来估计3D IoU，并在单目3D检测中提升定位性能？
• RQ2 学习2D投影与物体之间的拟合度分数是否能带来比紧约束方法更鲁棒的3D定位？
• RQ3 仅在2D投影上进行训练的深度网络能否在无显式深度监督的情况下实现高精度3D检测？
• RQ4 所提方法在KITTI等标准基准上的表现与最先进单目3D检测方法相比如何？
• RQ5 FQNet在不同IoU阈值和难度级别下对检测性能的提升程度如何？

主要发现

• 在KITTI 3D检测基准上，该方法在IoU=0.5时达到28.98%的3D AP，优于以往的单目方法。
• 在更具挑战性的IoU阈值0.7下，该方法在中等难度集上达到5.45%的3D AP，位居所有单目方法之首，并超过基于立体视觉的3DOP方法。
• 平均尺寸估计误差约为0.15米，为对比方法中最低，表明其在尺寸与形状回归方面具有高精度。
• 在易和中等难度级别上均有显著提升，相较于Mono3D和Deep3DBox，在鸟瞰图AP上实现了3%的绝对增益。
• FQNet与真实3D IoU的相关系数达到0.85，表明其在拟合度估计方面具备强大的泛化能力与可靠性。
• 定性结果表明，即使2D检测不完美，该方法仍能在多样化场景中生成高度匹配的3D边界框。