[论文解读] MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection

Renrui Zhang, Han Qiu+8 more|arXiv (Cornell University)|Mar 24, 2022

Advanced Neural Network Applications被引用 7

一句话总结

MonoDETR 提出一种基于深度引导的 Transformer，用于单目 3D 目标检测，引入双编码器架构，包含一个前景深度图预测器和一个深度感知解码器，实现长距离物体间深度关系推理。该方法在无需密集深度监督的情况下，在 KITTI 上达到最先进性能，并且其深度引导模块可有效泛化至 nuScenes 上的多视角检测。

ABSTRACT

Monocular 3D object detection has long been a challenging task in autonomous driving. Most existing methods follow conventional 2D detectors to first localize object centers, and then predict 3D attributes by neighboring features. However, only using local visual features is insufficient to understand the scene-level 3D spatial structures and ignores the long-range inter-object depth relations. In this paper, we introduce the first DETR framework for Monocular DEtection with a depth-guided TRansformer, named MonoDETR. We modify the vanilla transformer to be depth-aware and guide the whole detection process by contextual depth cues. Specifically, concurrent to the visual encoder that captures object appearances, we introduce to predict a foreground depth map, and specialize a depth encoder to extract non-local depth embeddings. Then, we formulate 3D object candidates as learnable queries and propose a depth-guided decoder to conduct object-scene depth interactions. In this way, each object query estimates its 3D attributes adaptively from the depth-guided regions on the image and is no longer constrained to local visual features. On KITTI benchmark with monocular images as input, MonoDETR achieves state-of-the-art performance and requires no extra dense depth annotations. Besides, our depth-guided modules can also be plug-and-play to enhance multi-view 3D object detectors on nuScenes dataset, demonstrating our superior generalization capacity. Code is available at https://github.com/ZrrSkywalker/MonoDETR.

研究动机与目标

• 解决仅依赖局部视觉特征、忽略长距离深度关系的中心引导型单目 3D 检测器的局限性。
• 通过基于 Transformer 的框架，结合场景级深度几何与物体间深度关系，提升 3D 目标检测性能。
• 开发一种即插即用的深度引导模块，无需密集深度标注即可增强单目与多视角 3D 检测。
• 通过仅使用对象级标签进行监督，实现端到端训练，无需非极大值抑制或基于锚框的标签分配。

提出的方法

• 引入轻量级深度预测器，仅使用每个对象的离散深度标签生成前景深度图，避免密集深度监督。
• 采用并行双编码器：视觉编码器用于提取外观特征，深度编码器用于从预测的深度图中提取非局部深度嵌入。
• 设计深度引导解码器，利用深度交叉注意力层，使物体查询能够关注图像中与深度相关的区域，实现全局上下文聚合。
• 将 3D 目标检测建模为可学习查询的集合，自适应地聚合来自视觉和深度嵌入表示的特征。
• 使用以米为单位或 k 个区间的离散化方式的可学习深度位置编码，以在 Transformer 注意力机制中保留深度几何信息。
• 仅使用 2D 和 3D 对象标注进行端到端训练，无需非极大值抑制、锚框或辅助深度数据。

实验结果

研究问题

• RQ1 基于深度引导的 Transformer 架构能否通过捕捉超越局部视觉特征的长距离深度关系，提升单目 3D 目标检测性能？
• RQ2 仅通过对象级深度监督预测的前景深度图，在无密集深度标注的情况下，对 3D 检测的引导效果如何？
• RQ3 深度引导模块在即插即用方式下，对多视角 3D 检测的泛化能力达到何种程度？
• RQ4 深度感知注意力的引入是否能提升 BEVFormer 和 PETRv2 等基于 BEV 的检测器的特征表示学习能力？
• RQ5 不同的深度表示与位置编码设计对最终检测性能有何影响？

主要发现

• MonoDETR 在 KITTI 测试集上达到最先进性能，分别在易、中、难难度级别上超越第二名方法 2.53%、1.08% 和 0.85%。
• 带有深度交叉注意力的深度引导解码器使物体查询能够关注远处与深度相关区域，如注意力图所示，其注意力分布遍及整个图像。
• 在 nuScenes 基准上，深度引导模块使 PETRv2 的 NDS 提升 +1.2%，BEVFormer 的 NDS 提升 +0.9%，证明其在多视角检测中的强大泛化能力。
• 消融实验表明，使用带可变形自注意力的深度编码器优于直接输入特征，当深度特征被正确编码时性能最佳。
• 采用均匀离散化（k-bin）的前景深度图性能最佳，以米为单位的深度位置编码比正弦或 2D 正弦编码更有效。
• 该方法在不同深度表示方案下均表现出一致的性能增益，包括均匀、递增和线性递增离散化，其中前景深度图最为有效。