[论文解读] EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational Reasoning

Jiachen Li, Fan Yang+2 more|arXiv (Cornell University)|Mar 31, 2020

Autonomous Vehicle Technology and Safety参考文献 47被引用 101

一句话总结

EvolveGraph 引入了一种动态潜在交互图模型，用于多智能体轨迹预测，能够进行显式关系推理、多模态预测，并通过双阶段训练管线在合成数据和真实世界数据集上实现最先进的结果。

ABSTRACT

Multi-agent interacting systems are prevalent in the world, from pure physical systems to complicated social dynamic systems. In many applications, effective understanding of the situation and accurate trajectory prediction of interactive agents play a significant role in downstream tasks, such as decision making and planning. In this paper, we propose a generic trajectory forecasting framework (named EvolveGraph) with explicit relational structure recognition and prediction via latent interaction graphs among multiple heterogeneous, interactive agents. Considering the uncertainty of future behaviors, the model is designed to provide multi-modal prediction hypotheses. Since the underlying interactions may evolve even with abrupt changes, and different modalities of evolution may lead to different outcomes, we address the necessity of dynamic relational reasoning and adaptively evolving the interaction graphs. We also introduce a double-stage training pipeline which not only improves training efficiency and accelerates convergence, but also enhances model performance. The proposed framework is evaluated on both synthetic physics simulations and multiple real-world benchmark datasets in various areas. The experimental results illustrate that our approach achieves state-of-the-art performance in terms of prediction accuracy.

研究动机与目标

• 在具有异质代理和不断演化的交互的多智能体系统中，推动精准的轨迹预测。
• 开发一个明确建模代理之间潜在交互图的框架。
• 通过一个随机的、由多组件组成的预测设置，捕捉未来轨迹的多模态性和不确定性。
• 使交互图能够随时间变化而动态演化，以反映关系的改变。
• 通过结合静态与动态图学习的两阶段训练管线，提高训练效率和收敛性。

提出的方法

• 构建一个包含智能体节点和一个上下文节点的观测图，以编码初始交互。
• 将潜在交互图推断为边类型分布，使用基于 softmax 的编码和 Gumbel-softmax 重参数化。
• 通过循环解码过程解码未来轨迹，为每个智能体输出高斯混合分布（K 个分量）。
• 引入一个动态交互图机制，在每 tau 步使用图回传单元重新编码潜在图，以捕捉演化中的关系。
• 使用两阶段训练过程：先训练静态交互图（阶段 1），再通过动态图演化进行微调（阶段 2）。
• 采用分开优化静态和动态阶段的损失设计，促进多模态性并提高对模式崩塌的鲁棒性。

实验结果

研究问题

• RQ1 潜在的异质交互图是否能够随时间有效表示多智能体关系？
• RQ2 显式演化交互图是否相较于静态关系基线提高预测准确性？
• RQ3 通过高斯混合解码和演化图能够在多大程度上捕捉未来轨迹的多模态性？
• RQ4 两阶段训练程序是否加速收敛并提升动态关系推理的性能？
• RQ5 该方法在具有不同代理类型和场景的合成与真实世界基准上的表现如何？

主要发现

• EvolveGraph 在多个基准上达到最先进的性能，在各数据集上持续超越基线。
• 静态交互图学习提升边类型准确性和轨迹预测，动态演化在关系变化场景中带来进一步提升。
• 动态版本（含图演化）在 Honda 3D (H3D) 与 NBA 数据集上显著提升 minADE20/minFDE20，例如相较于 STGAT 基线，minADE20 降低 4.0s，降低幅度为 20.0%；minFDE20 降低 4.0s，降低幅度为 27.1%。
• 与单阶段或纯静态方法相比，双阶段训练加速了收敛并提升了预测准确性。
• 该模型通过使用高斯混合模型来支持多模态轨迹预测，并对多种可行未来模态存在证据，体现在预测的多样化轨迹和演化中的图。