[论文解读] TPPO: A Novel Trajectory Predictor with Pseudo Oracle

Biao Yang, He, Caizhen+4 more|arXiv (Cornell University)|Feb 4, 2020

Autonomous Vehicle Technology and Safety参考文献 40被引用 8

一句话总结

TPPO 是一种新型的生成式轨迹预测模型，通过利用两个伪oracle——行人运动方向和从真实轨迹中估计出的潜在变量分布——来提升多模态、社交感知的轨迹预测性能。通过集成社交注意力模块和最小化观测轨迹与真实轨迹之间分布差距的潜在变量预测器，TPPO 在基准数据集上实现了最先进性能，且平均位移误差和最终位移误差更低。

ABSTRACT

Forecasting pedestrian trajectories in dynamic scenes remains a critical problem in various applications, such as autonomous driving and socially aware robots. Such forecasting is challenging due to human-human and human-object interactions and future uncertainties caused by human randomness. Generative model-based methods handle future uncertainties by sampling a latent variable. However, few studies explored the generation of the latent variable. In this work, we propose the Trajectory Predictor with Pseudo Oracle (TPPO), which is a generative model-based trajectory predictor. The first pseudo oracle is pedestrians' moving directions, and the second one is the latent variable estimated from ground truth trajectories. A social attention module is used to aggregate neighbors' interactions based on the correlation between pedestrians' moving directions and future trajectories. This correlation is inspired by the fact that pedestrians' future trajectories are often influenced by pedestrians in front. A latent variable predictor is proposed to estimate latent variable distributions from observed and ground-truth trajectories. Moreover, the gap between these two distributions is minimized during training. Therefore, the latent variable predictor can estimate the latent variable from observed trajectories to approximate that estimated from ground-truth trajectories. We compare the performance of TPPO with related methods on several public datasets. Results demonstrate that TPPO outperforms state-of-the-art methods with low average and final displacement errors. The ablation study shows that the prediction performance will not dramatically decrease as sampling times decline during tests.

研究动机与目标

• 解决动态行人场景中人类-人类及人类-物体交互建模的挑战。
• 通过将行人运动方向作为伪oracle来近似头部朝向，提升轨迹预测精度。
• 通过从观测轨迹和真实轨迹中学习数据驱动的潜在分布，减少对随机高斯噪声作为潜在变量的依赖。
• 最小化从观测轨迹和真实轨迹中推断出的潜在变量之间的分布差距，以增强预测的鲁棒性。
• 实现准确、多样且符合社交规范的轨迹预测，同时保持低采样依赖性和最小计算开销。

提出的方法

• 提出一种基于LSTM编码器-解码器的生成器-判别器框架，用于轨迹生成，并使用LSTM编码器对真实/虚假轨迹进行判别。
• 引入一种社交注意力模块，利用行人运动方向作为伪oracle，基于与未来轨迹的方向相关性来建模交互。
• 设计一种潜在变量预测器，从观测轨迹中估计潜在变量分布，使其与从真实轨迹中推导出的分布之间的差距最小化。
• 向预测的潜在变量中注入随机高斯噪声，以建模未来不确定性并生成多模态输出。
• 通过对抗训练提升预测轨迹的真实感和多样性。
• 使用多级视觉感知（MLVP）模块捕捉运动方向变化，改善局部轨迹动态。

实验结果

研究问题

• RQ1 行人运动方向能否作为有效的伪oracle，通过建模社交交互来提升轨迹预测性能？
• RQ2 与随机噪声相比，能够模仿真实轨迹分布的潜在变量预测器是否能提升预测准确性？
• RQ3 在不同采样时间下，伪oracle与潜在变量学习的结合如何影响预测性能？
• RQ4 在拥挤或复杂的社交交互场景中，该模型在保持准确性和多样性方面表现如何？
• RQ5 所提出方法是否能在最小计算开销和低采样依赖下实现最先进性能？

主要发现

• TPPO 在 ETH、HOTEL、ZARA1 和 ZARA2 数据集上均达到最先进性能，在平均位移误差（ADE）和最终位移误差（FDE）方面均优于现有方法。
• 消融实验表明，即使采样时间减少，预测性能依然稳定，体现出模型的鲁棒性与高效性。
• 社交注意力模块通过利用前方行人与未来运动方向的相关性，显著提升了预测准确性。
• 潜在变量预测器有效缩小了观测轨迹与真实轨迹之间潜在变量的分布差距，从而实现更准确、更多样化的轨迹生成。
• 密度图显示，TPPO 生成的轨迹具有社交合理性，支持多模态输出，能真实反映行人交互行为，如避障或绕行他人。
• 该方法计算开销极低，适用于自导航机器人或自主系统中的实时部署。