[论文解读] GraphTCN: Spatio-Temporal Interaction Modeling for Human Trajectory Prediction

Chengxin Wang, Shaofeng Cai+1 more|arXiv (Cornell University)|Mar 16, 2020

Autonomous Vehicle Technology and Safety参考文献 56被引用 4

一句话总结

GraphTCN 提出了一种新型的基于 CNN 的时空图网络，通过基于边特征的图注意力网络（EFGAT）建模空间交互，并通过门控时间卷积网络（TCN）建模时间动态。该方法在保持 5.22 倍更快推理速度的同时，将平均位移误差降低了 19.4%，并使预测路径数量减少 5 倍，实现了最先进的预测精度。

ABSTRACT

Predicting the future paths of an agent's neighbors accurately and in a timely manner is central to the autonomous applications for collision avoidance. Conventional approaches, e.g., LSTM-based models, take considerable computational costs in the prediction, especially for the long sequence prediction. To support more efficient and accurate trajectory predictions, we propose a novel CNN-based spatial-temporal graph framework GraphTCN, which models the spatial interactions as social graphs and captures the spatio-temporal interactions with a modified temporal convolutional network. In contrast to conventional models, both the spatial and temporal modeling of our model are computed within each local time window. Therefore, it can be executed in parallel for much higher efficiency, and meanwhile with accuracy comparable to best-performing approaches. Experimental results confirm that our model achieves better performance in terms of both efficiency and accuracy as compared with state-of-the-art models on various trajectory prediction benchmark datasets.

研究动机与目标

• 解决基于 RNN 的轨迹预测模型在实时自主应用中计算成本高、推理速度慢的问题。
• 通过引入代理之间的相对空间动态和非对称影响，改进社交交互的建模。
• 开发一种完全前馈的架构，实现实时推理的同时保持高精度。
• 在基准数据集上，相比当前最先进方法，降低预测误差和推理时间。

提出的方法

• GraphTCN 使用图结构，其中节点表示代理，边通过边特征编码相对空间关系。
• 提出 EFGAT（基于边特征的图注意力网络），根据相对运动趋势和距离自适应学习注意力权重。
• 时间建模采用带有高速公路连接的门控 TCN（时间卷积网络），高效捕捉长序列动态。
• 模型在局部时间窗口内处理时空交互，支持并行计算，实现高推理速度。
• EFGAT 和 TCN 中的跳跃连接与门控机制有助于稳定训练并改善梯度流动。
• 该框架端到端可训练，专为资源受限设备上的实时部署而设计。

实验结果

研究问题

• RQ1 完全前馈架构是否能在显著提升推理速度的同时，实现比基于 RNN 的模型更高的轨迹预测精度？
• RQ2 作为图注意力机制中的边特征，相对空间动态（如方向、速度）的建模效果如何？
• RQ3 在复杂人群场景中，代理间非对称注意力是否能提升预测质量？
• RQ4 基于局部窗口的时空处理能否在实现并行推理的同时保持高精度？

主要发现

• 在基准数据集上，与当前最先进模型相比，GraphTCN 将平均位移误差降低 19.4%，最终位移误差降低 13.6%。
• 该模型相比现有解决方案，实现高达 5.22 倍的运行时速度提升，支持在低资源设备上实现实时部署。
• 仅预测 5 条路径时，GraphTCN 的性能已优于生成 20 条路径的模型，表明其具有更高的采样效率。
• 可视化结果表明，GraphTCN 生成的轨迹更准确、无碰撞且符合社交规范，尤其在行人交汇或对向行进等复杂场景中表现优异。
• EFGAT 学习到的非对称注意力权重能反映现实世界中的交互动态，例如来自迎面而来或高速移动代理的更高影响。
• 该模型能够成功预测预期与非预期行为，如突然变向，并生成多样化且合理的未来轨迹。