[论文解读] MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer

Kuan‐Chih Huang, Tsung-Han Wu+2 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Neural Network Applications被引用 10

一句话总结

MonoDTR 提出了一种端到端的单目 3D 目标检测框架，采用深度感知变换器网络，通过辅助监督学习深度感知特征，无需依赖现成的深度估计器。它引入了一个轻量级的深度感知特征增强（DFE）模块和一种新型的深度感知变换器（DTR），并结合创新的深度位置编码（DPE），在 KITTI 数据集上实现了最先进性能，并支持实时推理。

ABSTRACT

Monocular 3D object detection is an important yet challenging task in autonomous driving. Some existing methods leverage depth information from an off-the-shelf depth estimator to assist 3D detection, but suffer from the additional computational burden and achieve limited performance caused by inaccurate depth priors. To alleviate this, we propose MonoDTR, a novel end-to-end depth-aware transformer network for monocular 3D object detection. It mainly consists of two components: (1) the Depth-Aware Feature Enhancement (DFE) module that implicitly learns depth-aware features with auxiliary supervision without requiring extra computation, and (2) the Depth-Aware Transformer (DTR) module that globally integrates context- and depth-aware features. Moreover, different from conventional pixel-wise positional encodings, we introduce a novel depth positional encoding (DPE) to inject depth positional hints into transformers. Our proposed depth-aware modules can be easily plugged into existing image-only monocular 3D object detectors to improve the performance. Extensive experiments on the KITTI dataset demonstrate that our approach outperforms previous state-of-the-art monocular-based methods and achieves real-time detection. Code is available at https://github.com/kuanchihhuang/MonoDTR

研究动机与目标

• 解决现有基于深度辅助的单目 3D 检测方法存在的深度先验不准确和计算成本高的局限性。
• 开发一种轻量级、端到端的框架，隐式学习深度感知特征，且在推理过程中无需使用预训练的深度估计器。
• 通过基于变换器的架构，全局融合上下文感知和深度感知特征，提升 3D 检测性能。
• 提出一种新型深度位置编码（DPE），以更好地表示 3D 目标检测中的深度感知空间关系。
• 确保在插入现有仅图像的单目 3D 检测器时具备兼容性并带来性能提升。

提出的方法

• 提出一种深度感知特征增强（DFE）模块，在训练过程中利用辅助深度监督学习深度感知特征，避免依赖外部深度估计器。
• 引入一种深度感知变换器（DTR）模块，利用变换器编码器-解码器结构，全局关注并融合上下文感知和深度感知特征。
• 设计一种新型深度位置编码（DPE），将深度感知的位置线索注入变换器中，相比标准的像素级位置编码，显著提升 3D 定位性能。
• 将深度感知特征作为变换器解码器的输入查询，以增强 3D 推理和目标定位的准确性。
• 采用多阶段训练策略，仅在训练阶段应用深度监督，从而在推理阶段实现无深度估计开销的实时速度。
• 通过将 DFE 和 DTR 模块替换现有仅图像单目 3D 检测器的检测头，实现即插即用的集成。

实验结果

研究问题

• RQ1 是否可以在不依赖预训练深度估计器的前提下，有效学习深度感知特征，从而降低计算成本并减少误差传播？
• RQ2 基于变换器的特征融合机制与传统的卷积融合方法相比，在整合上下文与深度感知特征用于 3D 检测时表现如何？
• RQ3 在 3D 目标检测任务中，深度感知位置编码（DPE）是否优于标准位置编码（如正弦编码、绝对位置编码）？
• RQ4 将所提出的深度感知模块集成到现有仅图像的单目 3D 检测器中，性能提升的幅度有多大？
• RQ5 所提出的框架是否能在保持 KITTI 等基准数据集最先进精度的同时实现实时推理？

主要发现

• MonoDTR 在 KITTI 3D 检测基准上实现了最先进性能，汽车类别在硬集上的 AP3D@IoU=0.7 达到 24.52%。
• 所提出的 DPE 显著优于所有基线位置编码，达到 24.52% AP3D@IoU=0.7（硬集），而 CPE 为 24.34%，APE 为 23.85%。
• 当集成到 M3D-RPN、GAC 和 MonoDLE 中时，所提模块在硬集上将 AP3D@IoU=0.7 提升最高达 +6.43%，证明了其强大的泛化能力和兼容性。
• 该模型实现了实时推理速度，适用于实际自动驾驶场景。
• 定性结果表明，MonoDTR 的预测结果在图像和鸟瞰图中均显著更接近真实值，尤其在远距离或遮挡物体上表现更优。
• 消融实验确认 DFE 和 DTR 模块对性能提升有显著贡献，且 DPE 在所有设置中均带来一致的性能增益。