[论文解读] Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks

Khaled Saleh|arXiv (Cornell University)|Dec 3, 2020

Autonomous Vehicle Technology and Safety参考文献 20被引用 5

一句话总结

本文提出了一种上下文增强的Transformer网络用于行人轨迹预测，通过整合历史轨迹、智能体交互和场景语义信息，提升了预测精度。该方法在真实世界数据集上，无论是在短期还是长期预测时长下，均优于先前的方法。

ABSTRACT

Forecasting the trajectory of pedestrians in shared urban traffic environments is still considered one of the challenging problems facing the development of autonomous vehicles (AVs). In the literature, this problem is often tackled using recurrent neural networks (RNNs). Despite the powerful capabilities of RNNs in capturing the temporal dependency in the pedestrians' motion trajectories, they were argued to be challenged when dealing with longer sequential data. Thus, in this work, we are introducing a framework based on the transformer networks that were shown recently to be more efficient and outperformed RNNs in many sequential-based tasks. We relied on a fusion of the past positional information, agent interactions information and scene physical semantics information as an input to our framework in order to provide a robust trajectory prediction of pedestrians. We have evaluated our framework on two real-life datasets of pedestrians in shared urban traffic environments and it has outperformed the compared baseline approaches in both short-term and long-term prediction horizons.

研究动机与目标

• 解决在复杂城市交通环境中实现准确行人轨迹预测的挑战，以保障自动驾驶车辆的安全。
• 克服循环神经网络（RNNs）在建模行人运动中长期序列依赖关系方面的局限性。
• 通过引入超越历史轨迹的上下文信息（包括智能体交互和场景语义），提升预测的鲁棒性。
• 开发一种基于Transformer的架构，有效融合多模态上下文输入以实现轨迹预测。
• 在基准数据集上，实现短期和长期轨迹预测的最先进性能。

提出的方法

• 采用基于Transformer的编码器-解码器架构，比RNN更有效地建模行人轨迹中的序列依赖关系。
• 整合三种关键的上下文输入：历史行人位置、与附近智能体的空间交互，以及场景语义（如人行道、斑马线等）。
• 使用位置编码以保留输入序列中的时间顺序和空间布局信息。
• 应用多头自注意力机制，以捕捉长距离依赖关系和行人之间的动态交互。
• 在预测头之前，通过晚期交互或拼接方式融合多模态上下文特征。
• 使用序列到序列的损失函数进行端到端训练，以最小化未来轨迹点的预测误差。

实验结果

研究问题

• RQ1 基于Transformer的模型是否能在短期和长期预测时长下，均优于基于RNN的模型？
• RQ2 与仅依赖轨迹信息的模型相比，引入智能体交互和场景语义信息在多大程度上提升了预测精度？
• RQ3 在具有复杂动态特性的现实城市交通场景中，所提出的上下文增强模型的鲁棒性如何？
• RQ4 多模态上下文信息的融合是否能带来更可靠且多样的轨迹预测结果？
• RQ5 该模型是否能在多样化的城市环境和行人行为中实现良好泛化？

主要发现

• 所提出的模型在两个真实世界行人轨迹数据集上，优于基线的RNN和注意力机制模型。
• 引入场景语义和智能体交互信息显著提升了预测精度，尤其在长期预测中表现更优。
• 该模型在短期（如5–10秒）和长期（如15–20秒）预测时长下均达到了最先进性能。
• 注意力机制有效捕捉了长距离依赖关系和行人之间的动态交互，从而提升了轨迹预测的准确性。
• 上下文增强的设计使模型在行人密度高、障碍物多的复杂城市场景中表现出更强的鲁棒性。
• 定量结果表明，与先前方法相比，最终位移误差（FDE）和平均位移误差（ADE）显著降低。