[论文解读] The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction

Junwei Liang, Lu Jiang+3 more|arXiv (Cornell University)|Dec 13, 2019

Video Surveillance and Tracking Methods参考文献 65被引用 11

一句话总结

本文引入了Forking Paths数据集，这是一个基于3D仿真的合成基准数据集，为同一段历史轨迹提供多个由人类标注的未来轨迹，从而实现对多未来轨迹预测模型的定量评估。本文提出了Multiverse模型，采用多尺度位置编码和基于图的卷积RNN结构，生成多样化且合理的未来路径，在新提出的基准数据集以及真实世界VIRAT/ActEV数据集上均取得了最先进性能。

ABSTRACT

This paper studies the problem of predicting the distribution over multiple possible future paths of people as they move through various visual scenes. We make two main contributions. The first contribution is a new dataset, created in a realistic 3D simulator, which is based on real world trajectory data, and then extrapolated by human annotators to achieve different latent goals. This provides the first benchmark for quantitative evaluation of the models to predict multi-future trajectories. The second contribution is a new model to generate multiple plausible future trajectories, which contains novel designs of using multi-scale location encodings and convolutional RNNs over graphs. We refer to our model as Multiverse. We show that our model achieves the best results on our dataset, as well as on the real-world VIRAT/ActEV dataset (which just contains one possible future).

研究动机与目标

• 为解决多未来轨迹预测模型缺乏定量评估基准的问题，传统方法依赖单一未来轨迹的真实标签。
• 构建一个真实、可扩展的数据集，其中包含基于真实世界数据生成的多个合理未来轨迹，并由人类标注目标导向行为。
• 开发一种深度学习模型，能够基于历史运动和场景上下文，生成多样化且语义合理的未来轨迹。
• 通过在合成数据上训练并在真实世界视频基准（如VIRAT/ActEV）上测试，验证模型的鲁棒性与泛化能力。

提出的方法

• Forking Paths数据集使用3D CARLA仿真器生成，将真实世界轨迹投影至3D环境，并由人类标注者延伸至语义上有意义的目标方向。
• Multiverse模型采用两阶段多尺度位置编码：粗粒度2D网格用于建模多模态目的地分布，细粒度偏移预测用于精确定位。
• 在2D空间图上应用空间图注意力机制，以编码场景上下文并建模智能体与场景元素之间的交互。
• 在空间图上使用卷积RNN，以捕捉轨迹序列中的局部运动模式与时间依赖性。
• 模型端到端训练，通过在合成数据集上最小化多未来预测损失，并使用ADE与FDE指标进行优化，通过领域自适应实现向真实世界数据的泛化。

Figure 2 : Overview of our model. The input to the model is the ground truth location history, and a set of video frames, which are preprocessed by a semantic segmentation model. This is encoded by the “History Encoder” convolutional RNN. The output of the encoder is fed to the convolutional RNN dec

实验结果

研究问题

• RQ1 一个基于仿真、包含人类标注多个未来轨迹的合成数据集，能否作为多未来轨迹预测的可靠定量评估基准？
• RQ2 多尺度位置编码策略在建模多样化、多模态未来轨迹方面是否有效？
• RQ3 基于图的注意力机制与卷积RNN在轨迹预测中，对场景上下文与运动动态建模的提升程度如何？
• RQ4 在合成数据上训练的模型，是否能有效泛化到真实世界视频基准（如VIRAT/ActEV）？

主要发现

• 在VIRAT/ActEV基准上，Multiverse模型在真实数据上训练时取得最佳公开结果，ADE为18.51，FDE为35.84。
• 在提出的Forking Paths数据集中，Multiverse模型的minADE 20为166.1，minFDE 20为329.5，优于当前最先进模型在多未来轨迹预测中的表现。
• 消融实验表明，若移除空间图或细粒度位置解码器，性能显著下降，验证了其在建模场景上下文与定位精度中的关键作用。
• 模型对领域偏移具有鲁棒性，从合成数据到真实数据的迁移中，ADE仅下降4.43分，优于依赖RGB的模型（如Next）。
• 模型在合成数据与真实数据上的性能排名保持一致，验证了合成数据集作为可靠评估平台的有效性。

Figure 3 : Visualization of the Forking Paths dataset. On the left is examples of the real videos and the second column shows the reconstructed scenes. The person in the blue bounding box is the controlled agent and multiple future trajectories annotated by humans are shown by overlaid person frames