[论文解读] MotionNet: Joint Perception and Motion Prediction for Autonomous Driving Based on Bird's Eye View Maps

Pengxiang Wu, Siheng Chen+1 more|arXiv (Cornell University)|Mar 15, 2020

Autonomous Vehicle Technology and Safety参考文献 61被引用 9

一句话总结

MotionNet 是一种深度学习模型，通过鸟瞰图（BEV）地图表示，联合执行感知与运动预测，利用一种新颖的时空金字塔网络（spatio-temporal pyramid network）及空间和时间一致性损失。它在 nuScenes 数据集上实现了最先进性能，优于基于检测和场景流的方法，并在开放集场景下对未见物体类别表现出强鲁棒性。

ABSTRACT

The ability to reliably perceive the environmental states, particularly the existence of objects and their motion behavior, is crucial for autonomous driving. In this work, we propose an efficient deep model, called MotionNet, to jointly perform perception and motion prediction from 3D point clouds. MotionNet takes a sequence of LiDAR sweeps as input and outputs a bird's eye view (BEV) map, which encodes the object category and motion information in each grid cell. The backbone of MotionNet is a novel spatio-temporal pyramid network, which extracts deep spatial and temporal features in a hierarchical fashion. To enforce the smoothness of predictions over both space and time, the training of MotionNet is further regularized with novel spatial and temporal consistency losses. Extensive experiments show that the proposed method overall outperforms the state-of-the-arts, including the latest scene-flow- and 3D-object-detection-based methods. This indicates the potential value of the proposed method serving as a backup to the bounding-box-based system, and providing complementary information to the motion planner in autonomous driving. Code is available at https://github.com/pxiangwu/MotionNet.

研究动机与目标

• 解决基于边界框的感知系统在出现新型物体类别时的开放集场景下的局限性。
• 通过在统一的 BEV 表示中联合推理物体类别、占据状态与运动动态，提升运动预测的鲁棒性。
• 开发一种高效、实时的系统，可作为标准检测系统备份，并提供互补的运动规划数据。
• 通过新颖的一致性损失强制实现预测在时空上的平滑性，提升预测的真实感与可靠性。
• 通过利用运动线索实现无检测的感知，尤其在罕见或未见类别中支持可靠的物体识别。

提出的方法

• MotionNet 处理由 LiDAR 扫描序列生成的 BEV 地图，其中每个网格单元编码占据状态、物体类别和运动（位移向量）信息。
• 采用一种新颖的时空金字塔网络（STPN），通过先应用 2D 空间卷积，再通过轻量级伪 1D 时间卷积实现分层特征提取。
• STPN 采用中间融合策略进行时空特征聚合，平衡低层次运动线索与高层次上下文信息。
• 通过空间和时间一致性损失进行模型训练，以正则化预测结果，确保时空上平滑且真实的运动预测。
• 在推理过程中，分类、状态估计和运动预测的预测头相互引导，以增强一致性。
• 网络端到端可训练，推理速度达 53 Hz，支持实时部署。

实验结果

研究问题

• RQ1 基于 BEV 地图的联合感知与运动预测框架是否能在自动驾驶基准测试中超越最先进检测与场景流方法？
• RQ2 无边界框方法在检测和预测未见物体类别运动方面效果如何？
• RQ3 在多个 LiDAR 扫描序列中，融合时空特征的最优策略是什么，以提升运动预测精度？
• RQ4 空间与时间一致性损失在多大程度上提升了运动预测的真实感与鲁棒性？
• RQ5 在物体检测器失效的开放集场景下，仅靠运动线索是否足以支持可靠的物体识别？

主要发现

• MotionNet 在 nuScenes 数据集上实现了 70.3% 的总体准确率（OA）和 96.1% 的准确率（针对速度超过 5 m/s 的运动物体），优于先前最先进方法。
• 该模型在未见物体类别（如轮椅上的残障人士）上仍保持强劲性能，而 3D 物体检测器则完全失效。
• 采用所提出的 STC 模块的中间融合策略在准确率与推理速度之间实现了最佳平衡，优于早期与晚期融合变体。
• 使用辅助状态估计头与相对位移预测显著提升性能并减少运动抖动。
• 空间与时间一致性损失有效抑制了预测噪声，提升了运动预测的平滑性与真实感。
• BEV 表示结合运动向量在几何细节与计算成本之间提供了更优平衡，相较于更细粒度的体素化方法，其性能未提升但成本显著增加。