[论文解读] 3D-MAN: 3D Multi-frame Attention Network for Object Detection

Zetong Yang, Yin Zhou+2 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Neural Network Applications参考文献 35被引用 4

一句话总结

3D-MAN 提出了一种3D多帧注意力网络，通过使用记忆库和多视角对齐与聚合模块，融合多个LiDAR帧的特征，从而提升3D目标检测性能。该方法在Waymo开放数据集上达到SOTA性能，在使用16帧输入时，车辆检测的AP达到74.3%，显著优于单帧和多帧基线方法。

ABSTRACT

3D object detection is an important module in autonomous driving and robotics. However, many existing methods focus on using single frames to perform 3D detection, and do not fully utilize information from multiple frames. In this paper, we present 3D-MAN: a 3D multi-frame attention network that effectively aggregates features from multiple perspectives and achieves state-of-the-art performance on Waymo Open Dataset. 3D-MAN first uses a novel fast single-frame detector to produce box proposals. The box proposals and their corresponding feature maps are then stored in a memory bank. We design a multi-view alignment and aggregation module, using attention networks, to extract and aggregate the temporal features stored in the memory bank. This effectively combines the features coming from different perspectives of the scene. We demonstrate the effectiveness of our approach on the large-scale complex Waymo Open Dataset, achieving state-of-the-art results compared to published single-frame and multi-frame methods.

研究动机与目标

• 解决单帧3D目标检测中因LiDAR点云部分缺失导致的歧义性问题。
• 通过利用多帧的时间信息，提升对部分可见或高速运动目标的检测精度。
• 设计一种高效、支持实时推理的多帧3D检测框架，超越现有的点拼接和循环神经网络方法。
• 在复杂、大规模的自动驾驶场景中，验证基于注意力的多帧特征聚合方法的有效性。

提出的方法

• 使用快速单帧检测器（FSD）实时生成高质量的框提议和特征图，采用基于匈牙利匹配的损失函数和最大池化NMS。
• 将前序帧的提议及其对应的特征图存储在记忆库中，以长期保持多视角表征。
• 多视角对齐与聚合模块（MVAA）利用注意力机制，从记忆库中为每个目标提议提取相关特征。
• 对齐阶段以目标提议作为查询，从存储的帧中检索特征；聚合阶段则对每个提议在多帧间融合特征。
• 引入辅助的跨视角损失，通过鼓励注意力权重匹配真实对应关系，提升对齐质量。
• 应用自车运动补偿，将早期帧的点云对齐至当前帧的坐标系，实现一致的特征融合。

Figure 1: Upper row: Potential detections given LiDAR from a single frame demonstrating ambiguity between many reasonable predictions. Lower row: After merging the points aligned across 4 frames, there is more certainty for the correct box prediction.

实验结果

研究问题

• RQ1 与单帧或点拼接方法相比，基于注意力的多帧LiDAR特征聚合是否能提升3D目标检测精度？
• RQ2 在长时间序列和高速运动目标场景下，3D-MAN模型的性能如何？此类场景中点云错位是主要挑战。
• RQ3 在快速单帧检测器中使用基于匈牙利匹配的损失函数和最大池化NMS，是否能生成更高质量的提议，从而提升下游多帧融合性能？
• RQ4 辅助的跨视角损失在多大程度上改善了记忆库中不同帧特征的对齐效果？
• RQ5 当增加输入帧数时，模型能否保持或提升性能，特别是在具有挑战性的速度类别中？

主要发现

• 在使用16帧输入时，3D-MAN在Waymo开放数据集上对车辆检测的AP达到74.3%，显著优于单帧基线方法的68.2%。
• 在4帧设置下，模型相比点拼接方法提升2.0% AP，相比Relation自注意力方法提升2.4% AP。
• 随着输入帧数增加，性能持续提升，从4帧时的72.5% AP上升至16帧时的74.3% AP，表明其在时间维度上具有出色的可扩展性。
• 模型显著提升了对高速运动车辆的检测性能，AP从1帧时的71.90%提升至16帧时的79.2%，而基线方法在更长时序下性能反而下降。
• 相比无辅助损失，交叉视角损失使AP提升1.8%；相比对应关系损失，提升1.1%，证明其在增强特征对齐方面的有效性。
• FSD中基于匈牙利匹配的损失在所有对比监督策略中取得最高AP（72.5%），验证了其在提升提议质量方面的优越性。

Figure 2: Framework for 3D-MAN: 3D multi-frame attention network. Given the point cloud for a target frame $t$ , a fast single-frame detector first generates box proposals. These proposals (box parameters) with the feature map (last layer of the backbone network) are inserted into a memory bank that