[论文解读] MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection

Yang Jiao, Zequn Jie+4 more|arXiv (Cornell University)|Sep 7, 2022

Advanced Neural Network Applications被引用 5

一句话总结

MSMDFusion 提出了一种多尺度 3D 目标检测框架，通过多深度反投影（MDU）融合 LiDAR 和相机数据，生成具有深度感知语义的高质量虚拟点，并利用门控模态感知卷积（GMA-Conv）实现细粒度、可控的跨模态特征融合。该方法在 nuScenes 数据集上实现了最先进性能，mAP 达到 71.5%，NDS 达到 74.0%，且无需测试时增强或模型集成。

ABSTRACT

Fusing LiDAR and camera information is essential for achieving accurate and reliable 3D object detection in autonomous driving systems. This is challenging due to the difficulty of combining multi-granularity geometric and semantic features from two drastically different modalities. Recent approaches aim at exploring the semantic densities of camera features through lifting points in 2D camera images (referred to as seeds) into 3D space, and then incorporate 2D semantics via cross-modal interaction or fusion techniques. However, depth information is under-investigated in these approaches when lifting points into 3D space, thus 2D semantics can not be reliably fused with 3D points. Moreover, their multi-modal fusion strategy, which is implemented as concatenation or attention, either can not effectively fuse 2D and 3D information or is unable to perform fine-grained interactions in the voxel space. To this end, we propose a novel framework with better utilization of the depth information and fine-grained cross-modal interaction between LiDAR and camera, which consists of two important components. First, a Multi-Depth Unprojection (MDU) method with depth-aware designs is used to enhance the depth quality of the lifted points at each interaction level. Second, a Gated Modality-Aware Convolution (GMA-Conv) block is applied to modulate voxels involved with the camera modality in a fine-grained manner and then aggregate multi-modal features into a unified space. Together they provide the detection head with more comprehensive features from LiDAR and camera. On the nuScenes test benchmark, our proposed method, abbreviated as MSMDFusion, achieves state-of-the-art 3D object detection results with 71.5% mAP and 74.0% NDS, and strong tracking results with 74.0% AMOTA without using test-time-augmentation and ensemble techniques. The code is available at https://github.com/SxJyJay/MSMDFusion.

研究动机与目标

• 解决现有 LiDAR-相机融合方法在 3D 目标检测中对深度信息利用不足的问题。
• 通过为每个种子点利用多个深度估计值，提升从 2D 相机种子点生成的虚拟点在 3D 空间中的几何精度与语义丰富度。
• 在体素空间中实现 LiDAR 点与相机生成的虚拟点之间细粒度、可控的跨模态交互。
• 通过多尺度特征聚合与多层次粒度的有效融合，实现更优的检测性能。
• 通过引入在体素空间中可调制的门控融合机制，克服简单拼接或基于注意力的融合方法的局限性。

提出的方法

• 提出多深度反投影（MDU），一种从每个 2D 种子点周围局部邻域检索多个深度值的方法，以在 3D 空间中生成更精确且具有深度感知能力的虚拟点。
• 通过融合相机特征与多个深度估计值，集成深度感知特征，提升虚拟点的语义一致性和鲁棒性。
• 设计门控模态感知卷积（GMA-Conv），一种可学习模块，根据真实 LiDAR 点的上下文自适应调制来自相机模态的特征，实现在体素空间中的细粒度、类注意力融合。
• 在多个特征尺度上应用 MDU 和 GMA-Conv 模块，实现多模态特征的渐进式优化与多粒度融合。
• 采用多尺度特征聚合策略，整合不同层级的表征，提升特征完整性与检测鲁棒性。
• 使用标准 3D 检测损失端到端训练框架，不依赖测试时增强或模型集成技术。

实验结果

研究问题

• RQ1 利用每个 2D 种子点的多个深度估计值，能否显著提升 3D 空间中虚拟点的几何精度与语义质量？
• RQ2 在体素空间中，细粒度的门控融合机制是否优于简单的拼接或基于注意力的融合方法？
• RQ3 在不同粒度层级的特征间进行多尺度交互，如何影响最终的检测性能？
• RQ4 在检测精度与噪声控制之间，每个种子点的深度数量与每实例种子点数量之间是否存在最优权衡？
• RQ5 一种具有深度感知能力的多尺度融合框架，能否在不使用测试时增强或模型集成的情况下实现最先进性能？

主要发现

• MSMDFusion 在 nuScenes 测试集上达到 71.5% mAP 与 74.0% NDS，创下新最先进性能，且无需测试时增强或模型集成。
• 消融实验表明，当每个种子点的深度数量 K 从 1 增加到 6 时，mAP 提升 1.07%，NDS 提升 0.70%，K=6 时性能最优。
• 当 K 增加至 10 时，性能下降，表明过多深度估计会引入噪声，降低虚拟点质量。
• 当每实例种子点数量 N 从 50 增加到 200 时，性能未提升，甚至在结合单深度反投影时造成损害。
• 多尺度交互模型相比单尺度基线模型，mAP 提升约 2%，NDS 提升约 1%，证明多粒度特征融合的优势。
• MDU 模块在 K=6 时对真实 3D 点的召回率达到 85.6%，平均距离误差为 0.18m，证实了虚拟点生成的可靠性。