[论文解读] FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection

Tai Wang, Xinge Zhu+2 more|arXiv (Cornell University)|Apr 22, 2021

Advanced Neural Network Applications参考文献 38被引用 27

一句话总结

FCOS3D 将一个 anchor-free 的二维检测器适配到单目三维目标检测，通过将 3D 目标投影到图像平面、使用基于 3D 中心的监督，以及多层级 3D 预测。在仅视觉的方法中，在 nuScenes 的相机轨迹上达到顶级性能。

ABSTRACT

Monocular 3D object detection is an important task for autonomous driving considering its advantage of low cost. It is much more challenging than conventional 2D cases due to its inherent ill-posed property, which is mainly reflected in the lack of depth information. Recent progress on 2D detection offers opportunities to better solving this problem. However, it is non-trivial to make a general adapted 2D detector work in this 3D task. In this paper, we study this problem with a practice built on a fully convolutional single-stage detector and propose a general framework FCOS3D. Specifically, we first transform the commonly defined 7-DoF 3D targets to the image domain and decouple them as 2D and 3D attributes. Then the objects are distributed to different feature levels with consideration of their 2D scales and assigned only according to the projected 3D-center for the training procedure. Furthermore, the center-ness is redefined with a 2D Gaussian distribution based on the 3D-center to fit the 3D target formulation. All of these make this framework simple yet effective, getting rid of any 2D detection or 2D-3D correspondence priors. Our solution achieves 1st place out of all the vision-only methods in the nuScenes 3D detection challenge of NeurIPS 2020. Code and models are released at https://github.com/open-mmlab/mmdetection3d.

研究动机与目标

• 将 7-DoF 3D 目标转换为图像域表现，以发挥 2D 检测器的优势。
• 将 3D 属性解耦为 2D 中心偏移与 3D 尺寸/姿态以进行回归。
• 基于 2D 尺度和 3D 中心的引导，将目标分布到特征金字塔的不同层级。
• 利用基于 3D 中心的 2D 高斯中心性重新定义中心性，以反映 3D 目标几何形状。
• 实现单目 3D 检测而无需 2D-3D 先验，同时保持训练/推理效率。

提出的方法

• 在 FCOS 基础上使用 ResNet101 主干和 FPN，创建多尺度特征图 (P3–P7)。
• 将 3D 目标投影到图像上以获得 2.5D 中心，并分解为 2D 偏移量 (Δx, Δy) 和深度 (d)，以及 3D 尺寸和方位 (w, l, h, θ, vx, vy)。
• 使用 2 路方向编码 + 角度分量来预测旋转，以解决相对的方向性问题。
• 使用 2D 尺度引导和基于 3D 中心的前景标准将目标分配到特征层；使用基于距离的中心采样以缓解歧义。
• 使用以投影的 3D 中心为中心的 2D 高斯中心性分数 c；用 BCE 损失训练 c。
• 用分类的 focal 损失、属性和方向的 softmax/BCE，以及回归目标的 Smooth-L1 进行训练，配以精心选取的权重。

实验结果

研究问题

• RQ1 一个简单的 anchor-free 2D 检 detector 能否在没有 2D-3D 先验的情况下将单目图像中的 3D 属性预测？
• RQ2 应如何重新表述并将 3D 目标分配到 2D 特征层，以在单目 3D 检测中最大化召回率和准确性？
• RQ3 与在 3D 设置中原始 FCOS 中心性相比，基于投影 3D 中心的 2D 高斯中心性是否能更好抑制低质量预测？
• RQ4 深度重新参数化和解耦回归头对 nuScenes 中 3D 方向和总体检测分数有何影响？
• RQ5 深度空间损失重新参数化和基于距离的目标分配对大对象的性能提升有哪些？

主要发现

• FCOS3D 在 nuScenes 测试集（RGB 输入）实现 0.358 mAP 和 0.428 NDS，优于若干仅 RGB 基线。
• 在验证集上，FCOS3D 达到 0.343 mAP 和 0.415 NDS，相对于先前的基于 RGB 的单目检测器显示出稳健提升。
• 与基于 LiDAR 的和多模态方法相比，FCOS3D 采用 RGB 输入达到具有竞争力的 mAP 与角度预测，在旋转处理方面因 2-bin 方向编码而有显著改进。
• 消融实验表明，原始空间的深度损失、基于距离的目标分配、以及更强的骨干网络（ResNet101、DCN）和解耦回归头，显著提高了 mAP 和 NDS。
• 最终架构在测试时增强和更多训练轮次的帮助下，在以视觉为主的方法中成为 nuScenes 相机轨迹的最先进水平。