[论文解读] Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection

Li Wang, Liang Du+6 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Neural Network Applications参考文献 49被引用 12

一句话总结

本文提出DDMP-3D，一种基于图的算法，通过动态采样上下文感知节点，并利用深度条件化的多尺度滤波权重与关联矩阵，实现单目3D目标检测中的特征传播。该方法在KITTI基准上实现最先进性能，截至2020年11月16日，在单目3D检测赛道中排名第一，其关键在于引入了中心感知的深度编码任务，以缓解不准确的深度先验问题。

ABSTRACT

The objective of this paper is to learn context- and depth-aware feature representation to solve the problem of monocular 3D object detection. We make following contributions: (i) rather than appealing to the complicated pseudo-LiDAR based approach, we propose a depth-conditioned dynamic message propagation (DDMP) network to effectively integrate the multi-scale depth information with the image context;(ii) this is achieved by first adaptively sampling context-aware nodes in the image context and then dynamically predicting hybrid depth-dependent filter weights and affinity matrices for propagating information; (iii) by augmenting a center-aware depth encoding (CDE) task, our method successfully alleviates the inaccurate depth prior; (iv) we thoroughly demonstrate the effectiveness of our proposed approach and show state-of-the-art results among the monocular-based approaches on the KITTI benchmark dataset. Particularly, we rank $1^{st}$ in the highly competitive KITTI monocular 3D object detection track on the submission day (November 16th, 2020). Code and models are released at \url{https://github.com/fudan-zvg/DDMP}

研究动机与目标

• 为解决单目3D目标检测面临的尺度变化与单视角RGB图像中缺乏深度线索的问题。
• 克服伪LiDAR方法依赖不准确深度图并丢弃RGB图像语义信息的局限性。
• 通过动态、深度感知的方式融合多尺度深度特征与图像上下文，提升特征表示能力。
• 通过辅助的中心感知深度编码任务，减轻不准确深度先验对3D定位的影响。
• 在不依赖昂贵LiDAR传感器的前提下，实现单目3D目标检测的最先进性能。

提出的方法

• 该方法采用基于图的建模方式，将每个特征图像素视为一个节点，从而实现对上下文相关邻近节点的动态采样。
• 提出深度条件化的动态消息传播机制，利用多尺度深度特征学习混合的、与深度相关的滤波权重与关联矩阵，实现特征传播。
• 网络采用双分支结构：一个用于3D检测，另一个用于深度特征提取；DDMP模块在图像分支上运行，利用来自底部分支的深度特征。
• 引入中心感知深度编码（CDE）任务作为辅助损失，引导深度特征具备实例感知能力，从而提升定位精度。
• 模型采用端到端联合优化进行训练，推理阶段则移除CDE头。
• 使用多尺度深度特征以增强对不同物体尺度的感知能力，提升对透视失真的鲁棒性。

Figure 1: Left : DDMP adaptively samples context-aware nodes (top) in the image context and dynamically predicting hybrid depth-dependent filter weights and affinity matrices (bottom) for propagating information. Right : the improvement of DDMP-3D (red) over the baseline (yellow) via center-aware de

实验结果

研究问题

• RQ1 基于多尺度深度特征的动态消息传播是否能提升单目3D检测中的上下文感知特征学习？
• RQ2 与简单的特征融合或伪LiDAR方法相比，引入深度感知图传播对3D检测性能有何影响？
• RQ3 中心感知深度编码任务在多大程度上能缓解不准确深度先验对3D定位的负面影响？
• RQ4 所提方法是否能在不同深度估计网络（如单目与立体匹配估计器）上实现良好泛化？
• RQ5 所提方法是否能在不依赖LiDAR数据的前提下，实现在KITTI基准上的最先进性能？

主要发现

• 所提DDMP-3D模型在KITTI 3D检测基准的'easy'子集上达到30.83%的平均精度（AP），并于2020年11月16日成为官方单目3D检测排行榜第一名。
• 消融实验表明，仅使用动态消息传播即可使'moderate'子集的AP从18.82%提升至22.36%，验证了图机制的有效性。
• 使用多尺度深度特征（Group III）相比单尺度深度特征带来0.48%的性能增益，证实了尺度感知深度感知的优势。
• 引入中心感知深度编码（CDE）任务后，'easy'子集的AP从28.12%提升至31.14%，表明定位精度获得显著提升。
• 该方法在'easy'和'moderate'子集上分别优于基线模型5.42%和6.50%，也优于D⁴LCN模型。
• 该模型在不同深度估计器（包括DORN和PSMNet）上均表现出一致的性能提升，表明对不同深度质量具有强泛化能力。

Figure 2: Schematic illustration of our proposed DDMP-3D. Two branches are involved including 3D detection branch (colored in blue) and depth feature extraction branch (colored in green). The DDMP modules in yellow color reveal the depth-conditioned dynamic message propagation. It dynamically sample