[论文解读] Spatial-Temporal Block and LSTM Network for Pedestrian Trajectories Prediction

Dan Xiong|arXiv (Cornell University)|Sep 22, 2020

Autonomous Vehicle Technology and Safety参考文献 19被引用 5

一句话总结

本文提出了一种新颖的时空模块（ST-Block）与LSTM网络相结合的方法，用于在拥挤动态场景中进行行人轨迹预测。通过将行人建模为图节点，并利用图卷积网络（GCN）和时间卷积网络（TCN）捕捉空间与时间依赖关系，该模型有效编码了社交互动与场景上下文信息，在ETH和UCY数据集上实现了最先进性能。

ABSTRACT

Pedestrian trajectory prediction is a critical to avoid autonomous driving collision. But this prediction is a challenging problem due to social forces and cluttered scenes. Such human-human and human-space interactions lead to many socially plausible trajectories. In this paper, we propose a novel LSTM-based algorithm. We tackle the problem by considering the static scene and pedestrian which combine the Graph Convolutional Networks and Temporal Convolutional Networks to extract features from pedestrians. Each pedestrian in the scene is regarded as a node, and we can obtain the relationship between each node and its neighborhoods by graph embedding. It is LSTM that encode the relationship so that our model predicts nodes trajectories in crowd scenarios simultaneously. To effectively predict multiple possible future trajectories, we further introduce Spatio-Temporal Convolutional Block to make the network flexible. Experimental results on two public datasets, i.e. ETH and UCY, demonstrate the effectiveness of our proposed ST-Block and we achieve state-of-the-art approaches in human trajectory prediction.

研究动机与目标

• 为解决在复杂人与人、人与环境交互的杂乱环境中预测社会上合理行人轨迹的挑战。
• 通过联合建模空间场景结构与时间运动动态，提升轨迹预测的准确性。
• 通过一种新颖的时空模块设计，增强模型灵活性，实现对多个可能未来轨迹的预测。
• 通过将基于图的行人关系表示与LSTM的序列建模相结合，实现更优的社会互动编码。
• 在ETH和UCY等基准数据集上实现行人轨迹预测的最先进性能。

提出的方法

• 该模型将每位行人表示为图中的一个节点，边编码空间邻近性和社交关系，通过图卷积网络（GCN）实现基于图的特征学习。
• 利用时间卷积网络（TCN）提取空间特征，以建模时间步长上的局部运动模式。
• 提出一种新颖的时空卷积模块（ST-Block），以灵活且分层的方式捕捉行人之间的空间依赖关系与时间动态。
• 采用LSTM网络编码行人与其邻居之间关系的演化过程，建模轨迹序列中的长期依赖关系。
• ST-Block整合GCN与TCN组件，联合学习空间上下文与时间运动特征，增强轨迹预测的表征学习能力。
• 该架构采用端到端方式训练，以预测多个可能的未来轨迹，通过多模态输出头对不确定性进行建模。

实验结果

研究问题

• RQ1 如何有效结合空间与时间特征，以建模拥挤场景中复杂的行人交互？
• RQ2 与标准RNN或CNN基线模型相比，基于图的表示结合GCN与TCN是否能提升轨迹预测的准确性？
• RQ3 所提出的ST-Block在预测多个可能未来轨迹时，对模型灵活性与性能的提升程度如何？
• RQ4 将场景上下文与社交互动建模相结合，是否能提升模型在公开基准数据集上的泛化能力？
• RQ5 所提出的模型是否能在ETH和UCY等标准行人轨迹预测基准上实现最先进性能？

主要发现

• 所提出的ST-Block与基于LSTM的模型在ETH和UCY基准数据集上均实现了最先进性能。
• 该模型在预测多个可能的未来轨迹方面表现优异，能够有效捕捉复杂的社交互动与场景约束。
• 将GCN用于空间建模、TCN用于时间特征提取，显著提升了相比基线模型的预测准确性。
• 通过图嵌入表示行人关系，能够有效建模拥挤环境中社会作用力与邻近效应。
• 消融实验证实，ST-Block与LSTM组件均对模型预测性能有显著贡献。
• 在行人密度高且运动模式复杂的场景中，该模型在预测准确性方面优于现有方法。