[论文解读] LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention

Junbo Yin, Jianbing Shen+3 more|arXiv (Cornell University)|Apr 3, 2020

Advanced Neural Network Applications参考文献 64被引用 14

一句话总结

本文提出了一种基于图注意力传播和时空变换器注意力的新型端到端在线3D视频目标检测器，用于LiDAR点云。该方法引入了支柱消息传递网络（PMPNet）以增强空间特征编码，并设计了具有空间与时间注意力机制的有 Attentive Spatiotemporal Transformer GRU（AST-GRU），以建模长程依赖关系，在nuScenes基准上实现了29.35% mAP的最先进性能。

ABSTRACT

Existing LiDAR-based 3D object detectors usually focus on the single-frame detection, while ignoring the spatiotemporal information in consecutive point cloud frames. In this paper, we propose an end-to-end online 3D video object detector that operates on point cloud sequences. The proposed model comprises a spatial feature encoding component and a spatiotemporal feature aggregation component. In the former component, a novel Pillar Message Passing Network (PMPNet) is proposed to encode each discrete point cloud frame. It adaptively collects information for a pillar node from its neighbors by iterative message passing, which effectively enlarges the receptive field of the pillar feature. In the latter component, we propose an Attentive Spatiotemporal Transformer GRU (AST-GRU) to aggregate the spatiotemporal information, which enhances the conventional ConvGRU with an attentive memory gating mechanism. AST-GRU contains a Spatial Transformer Attention (STA) module and a Temporal Transformer Attention (TTA) module, which can emphasize the foreground objects and align the dynamic objects, respectively. Experimental results demonstrate that the proposed 3D video object detector achieves state-of-the-art performance on the large-scale nuScenes benchmark.

研究动机与目标

• 解决单帧3D目标检测器在处理遮挡、稀疏点云和动态物体方面的局限性。
• 利用点云视频序列中的时空一致性，提升检测的鲁棒性与准确性。
• 开发一种能有效建模LiDAR点云中长程空间与时间依赖关系的方法，支持在线实时推理。
• 通过循环记忆单元中的注意力机制，减轻背景噪声并校正动态物体在帧间的错位问题。
• 在大规模nuScenes基准上实现3D视频目标检测的最先进性能。

提出的方法

• 提出支柱消息传递网络（PMPNet），一种基于图的空间编码器，将非空支柱视为节点，并在k-NN图上进行迭代消息传递，以扩大感受野。
• 设计有注意机制的记忆门控机制的时空变换器GRU（AST-GRU），通过扩展ConvGRU实现时空特征聚合。
• 集成空间变换器注意力（STA）模块，通过关注上下文特征来抑制背景噪声并突出前景物体。
• 引入时间变换器注意力（TTA）模块，利用交叉注意力对齐帧间动态物体，提升记忆更新质量，即使在运动情况下亦有效。
• 利用自车运动信息对静态物体进行对齐，并与TTA结合，增强动态场景中的时间建模能力。
• 在连续点云帧上端到端训练模型，支持带有长期时间上下文的在线推理。

实验结果

研究问题

• RQ1 基于图的消息传递是否能超越局部体素或支柱池化，在3D点云帧中提升空间特征表示？
• RQ2 注意力增强的循环单元在LiDAR视频序列中建模长程时空依赖关系的效率如何？
• RQ3 空间注意力在多大程度上可减少背景干扰并提升对小物体或被遮挡物体的检测能力？
• RQ4 时间注意力是否能改善运动物体的记忆对齐，从而增强动态场景中的检测鲁棒性？
• RQ5 引入长期时间上下文（如2.5秒）是否能显著提升大规模基准上的3D目标检测性能？

主要发现

• 所提出的PMPNet相比PointPillars基线模型提升+2.05% mAP，证明了基于图的消息传递在扩展空间感受野方面的有效性。
• 结合STA与TTA模块的AST-GRU相比单帧PointPillars基线模型实现+5.98% mAP的提升，表明注意记忆门控机制具有显著价值。
• 使用更长的输入序列（2.5秒，即5帧）相比单帧输入使mAP提升+4.68%，证实了长期时间建模的优势。
• 完整模型在nuScenes基准上实现29.35% mAP，优于现有视频检测器，创下新的最先进性能。
• 消融实验表明，STA与TTA模块均具有显著贡献，TTA-GRU单独实现+4.02% mAP，STA-GRU也实现+4.02% mAP，表明二者具有互补作用。
• 定性结果表明，该模型通过利用时间一致性，成功检测出被遮挡和远距离的车辆——这些是单帧检测器的挑战性案例。