[论文解读] Collaborative Motion Prediction via Neural Motion Message Passing

Yue Hu, Siheng Chen+2 more|arXiv (Cornell University)|Mar 14, 2020

Autonomous Vehicle Technology and Safety参考文献 42被引用 4

一句话总结

该论文提出神经运动消息传递（NMMP），一种基于图的方法，能够从观测轨迹中学习交通参与者及其有向交互的联合表征。通过显式建模交互并实现可解释性，NMMP在行人及行人-车辆联合场景下的运动预测中表现更优，在多个基准测试中超越了先前的最先进方法。

ABSTRACT

Motion prediction is essential and challenging for autonomous vehicles and social robots. One challenge of motion prediction is to model the interaction among traffic actors, which could cooperate with each other to avoid collisions or form groups. To address this challenge, we propose neural motion message passing (NMMP) to explicitly model the interaction and learn representations for directed interactions between actors. Based on the proposed NMMP, we design the motion prediction systems for two settings: the pedestrian setting and the joint pedestrian and vehicle setting. Both systems share a common pattern: we use an individual branch to model the behavior of a single actor and an interactive branch to model the interaction between actors, while with different wrappers to handle the varied input formats and characteristics. The experimental results show that both systems outperform the previous state-of-the-art methods on several existing benchmarks. Besides, we provide interpretability for interaction learning.

研究动机与目标

• 解决在自动驾驶系统运动预测中建模交通参与者之间复杂、有向交互的挑战。
• 通过显式学习交互表征，提升纯行人场景及行人-车辆联合场景下的运动预测精度。
• 通过解耦且语义明确的交互嵌入，实现交互学习的可解释性。
• 设计统一框架，通过共享的交互建模机制，泛化于不同运动预测设置。
• 克服先前方法在交互建模中隐式处理交互或无法建模方向性与动态交互模式的局限性。

提出的方法

• 提出神经运动消息传递（NMMP），一种适配于运动预测的消息传递框架，能够从轨迹中学习参与者及其成对交互的联合表征。
• 构建交互图，其中节点为参与者，边表示有向交互，并为节点和边学习可学习的嵌入表示。
• 采用双分支架构：个体分支建模单个参与者动态，交互分支通过NMMP建模参与者之间的交互。
• 集成任务特定的解码器：在开放区域行人场景中使用基于GAN的解码器，在包含地图和车辆朝向的城市驾驶场景中使用CNN + 坐标变换。
• 应用t-SNE可视化交互嵌入，并将其与空间交互模式相关联，实现可解释性。
• 端到端训练，使用未来轨迹预测的监督损失，以ADE和FDE作为评估指标。

实验结果

研究问题

• RQ1 对交通参与者之间有向、动态交互的显式建模，是否能提升复杂场景下的运动预测性能？
• RQ2 所提出的NMMP模块在准确性和泛化能力方面，相较于现有的图神经网络与注意力机制交互建模方法表现如何？
• RQ3 NMMP模块在具有丰富社交交互的高密度人群场景中，性能提升程度如何？
• RQ4 NMMP学习到的交互嵌入是否具有语义意义，能够被有意义地解释与可视化，以反映现实世界的交互模式？
• RQ5 具有共享NMMP模块与任务特定头的双分支架构，是否能在行人-only与行人-车辆联合等多样化运动预测场景中实现良好泛化？

主要发现

• 所提出的PMP-NMMP系统在ETH-UCY数据集上超越了SOTA基线SGAN，在HOTEL数据集上ADE相对提升25.4%，FDE相对提升12.7%。
• NMMP中的双解码器结构显著优于单解码器结构，ADE/FDE分别为0.52/1.11与0.56/1.19，表明对多智能体影响的建模更优。
• 系统的最终输出优于个体分支输出，证明交互分支在轨迹预测中起关键作用。
• 在行人数量不断增加的密集人群场景中，NMMP与SGAN的性能差距进一步扩大，高密度场景下ADE与FDE的归一化比率分别超过30%与25%。
• 交互嵌入的可视化显示，相似的交互模式（如并排行走、面对面）在嵌入空间中聚类在一起，验证了可解释性与语义一致性。
• NMMP模块在行人场景与行人-车辆联合场景中均实现了稳定的性能提升，验证了其泛化能力。