[论文解读] LoGoNet: Towards Accurate 3D Object Detection with Local-to-Global Cross-Modal Fusion

Xin Li, Tao Ma+9 more|arXiv (Cornell University)|Mar 7, 2023

Advanced Neural Network Applications被引用 5

一句话总结

LoGoNet 提出了一种新颖的局部到全局跨模态融合框架，用于3D目标检测，通过将细粒度的局部区域特征与全局场景级特征相结合，提升了LiDAR-相机特征融合效果。通过引入全局融合（GoF）、带位置编码的网格特征的局部融合（LoF）以及特征动态聚合（FDA），LoGoNet 在Waymo 3D检测排行榜上取得最先进性能，mAPH（L2）达到81.02，位列第一。

ABSTRACT

LiDAR-camera fusion methods have shown impressive performance in 3D object detection. Recent advanced multi-modal methods mainly perform global fusion, where image features and point cloud features are fused across the whole scene. Such practice lacks fine-grained region-level information, yielding suboptimal fusion performance. In this paper, we present the novel Local-to-Global fusion network (LoGoNet), which performs LiDAR-camera fusion at both local and global levels. Concretely, the Global Fusion (GoF) of LoGoNet is built upon previous literature, while we exclusively use point centroids to more precisely represent the position of voxel features, thus achieving better cross-modal alignment. As to the Local Fusion (LoF), we first divide each proposal into uniform grids and then project these grid centers to the images. The image features around the projected grid points are sampled to be fused with position-decorated point cloud features, maximally utilizing the rich contextual information around the proposals. The Feature Dynamic Aggregation (FDA) module is further proposed to achieve information interaction between these locally and globally fused features, thus producing more informative multi-modal features. Extensive experiments on both Waymo Open Dataset (WOD) and KITTI datasets show that LoGoNet outperforms all state-of-the-art 3D detection methods. Notably, LoGoNet ranks 1st on Waymo 3D object detection leaderboard and obtains 81.02 mAPH (L2) detection performance. It is noteworthy that, for the first time, the detection performance on three classes surpasses 80 APH (L2) simultaneously. Code will be available at \url{https://github.com/sankin97/LoGoNet}.

研究动机与目标

• 为解决现有全局融合方法在3D目标检测中的局限性，即缺乏细粒度区域级信息且未能充分利用局部上下文。
• 通过使用点云质心来更精确地表示体素位置，提升LiDAR点云与图像特征之间的跨模态对齐。
• 通过在局部（建议框级）和全局（场景级）粒度上融合多模态特征，提升检测精度。
• 通过动态聚合模块实现局部与全局融合特征之间更丰富的信息交互。
• 在主要3D检测基准上实现最先进性能，尤其在Waymo开放数据集上表现突出。

提出的方法

• 提出全局融合（GoF），利用点云质心表示体素位置，提升跨模态对齐效果，并支持与图像特征进行可变形跨注意力计算。
• 引入局部融合（LoF），将每个3D建议框划分为均匀网格，将网格中心投影到图像平面，并采样局部图像特征，与带位置编码的点云特征进行融合。
• 设计位置信息编码器（PIE），用于编码每个网格的空间与几何属性（如点数、质心），以实现精确的定位与特征表示。
• 设计特征动态聚合（FDA）模块，利用自注意力机制动态交互并优化来自全局与局部融合分支的特征。
• 采用ROI-网格池化与可变形跨注意力机制，在建议框级别有效聚合多模态特征，实现更精细的检测。
• 在Waymo开放数据集和KITTI上进行模型训练与评估，采用两阶段检测头并结合多模态特征优化。

实验结果

研究问题

• RQ1 局部级跨模态融合是否能超越全局融合，特别是在捕捉细粒度上下文与几何细节方面？
• RQ2 与体素中心相比，使用点云质心是否能提升LiDAR-相机融合中的跨模态对齐效果与检测性能？
• RQ3 在复杂3D场景中，基于网格的特征采样局部融合相较于仅使用全局融合的贡献如何？
• RQ4 全局与局部融合特征之间的动态交互是否能进一步增强特征表示与检测精度？
• RQ5 所提出的LoGoNet框架在大规模基准（如Waymo与KITTI）上相较于现有SOTA方法的超越程度如何？

主要发现

• LoGoNet在Waymo开放数据集上取得81.02 mAPH（L2）的性能，位列官方3D目标检测排行榜第一。
• 首次在所有三类目标（车辆、行人、自行车）上同时实现超过80 APH（L2）的检测性能。
• 消融实验表明，每个组件（GoF、LoF、FDA）均具有显著贡献：仅LoF即可使mAPH（L2）分别提升1.22%、2.93%和1.50%（分别对应车辆、行人、自行车）。
• GoF、LoF与FDA三者结合，相较于单模态RCNN基线，mAPH（L2）在车辆、行人、自行车类别上分别提升1.85%、3.19%和1.63%。
• 在LoF中使用更丰富的位置编码（XYZ+D+R）相比简单编码，性能分别提升0.12%、0.28%和0.15%（APH（L2）），证明了几何细节的价值。
• 在KITTI测试集上，LoGoNet在车辆类别上取得85.87 mAPH（L2），在自行车类别上取得73.61 mAPH（L2），在两个基准上均超越所有先前SOTA方法。