[论文解读] ReCoG: A Deep Learning Framework with Heterogeneous Graph for Interaction-Aware Trajectory Prediction

Xiaoyu Mo, Yang Xing+1 more|arXiv (Cornell University)|Dec 9, 2020

Autonomous Vehicle Technology and Safety参考文献 11被引用 40

一句话总结

ReCoG 将车辆–基础设施交互建模为异构图，并使用 RNNs、CNNs 和 GNNs 来预测未来的车辆轨迹，在 INTERACTION 数据集的 ADE/FDE 指标上达到最先进的结果。

ABSTRACT

Predicting the future trajectory of surrounding vehicles is essential for the navigation of autonomous vehicles in complex real-world driving scenarios. It is challenging as a vehicle's motion is affected by many factors, including its surrounding infrastructures and vehicles. In this work, we develop the ReCoG (Recurrent Convolutional and Graph Neural Networks), which is a general scheme that represents vehicle interactions with infrastructure information as a heterogeneous graph and applies graph neural networks (GNNs) to model the high-level interactions for trajectory prediction. Nodes in the graph contain corresponding features, where a vehicle node contains its sequential feature encoded using Recurrent Neural Network (RNN), and an infrastructure node contains spatial feature encoded using Convolutional Neural Network (CNN). Then the ReCoG predicts the future trajectory of the target vehicle by jointly considering all of the features. Experiments are conducted by using the INTERACTION dataset. Experimental results show that the proposed ReCoG outperforms other state-of-the-art methods in terms of different types of displacement error, validating the feasibility and effectiveness of the developed approach.

研究动机与目标

• 在复杂环境中激发对交互感知轨迹预测的动机，其中基础设施会影响车辆运动。
• 提出一个异构图框架，以共同推理车辆动力学和基础设施背景。
• 通过解耦编码器（RNN、CNN、GNN）与解码器来实现未来轨迹预测的扩展性。

提出的方法

• 构建一个带有车辆节点和地图节点的有向异构图以建模交互。
• 用 RNN 编码器对车辆历史进行编码，用 CNN 编码器对地图上下文进行编码。
• 应用 GNN 编码器从图中提取高层交互特征。
• 通过将交互特征与目标的时序特征拼接，使用 RNN 解码器解码预测的目标轨迹。

实验结果

研究问题

• RQ1 将车辆–基础设施交互建模为异构图是否能在轨迹预测上优于仅车辆图？
• RQ2 不同的编码器选择（RNN、CNN、GNN变体）如何影响预测准确性和扩展性？
• RQ3 回溯视野和预测视野对模型性能有何影响？
• RQ4 所提出的异构图方案是否在 INTERACTION 数据集上超过了最先进的交互感知方法？

主要发现

方法	ADE (m) - 验证	FDE (m) - 验证	ADE (m) - 测试	FDE (m) - 测试
DESIRE	0.32	0.88	-	-
MultiPath	0.30	0.99	-	-
TNT	0.21	0.67	-	-
R	0.2527	0.9000	0.4508	1.4702
GR	0.2098	0.7202	0.3559	1.1715
ReCoG	0.1919	0.6462	0.3940	0.?255
(GH)	0.1919	0.6462	0.3940	1.2555

• 在多种输入配置下，具有异构图的 ReCoG 相比同质图基线具有更好的性能。
• 在测试的组合中，使用 GAT 作为 GNN、GRU 作为 RNN 编码器取得了最佳性能。
• 扩展性：编码器是解耦的，可以在不重新设计基于图的核心的情况下替换为更新的架构。
• 可再生性：GNN 的变体（GAT vs GCN）和 RNN 的变体（GRU vs LSTM）显示注意力机制的 GNN 与 GRU 在此设定中往往表现最好。
• 在 INTERACTION 验证/测试集上，ReCoG 相对于若干基线获得最低的 ADE/FDE，且在扩展训练设置的版本中赢得了 INTERPRET NeurIPS 2020 竞赛。