[论文解读] Vision-based Multi-future Trajectory Prediction: A Survey

Renhao Huang, Hao Xue+3 more|arXiv (Cornell University)|Feb 21, 2023

Human Mobility and Location-Based Analysis被引用 17

一句话总结

对多模态轨迹预测（MTP）的全面综述，详细介绍框架、数据集、评估指标以及未来方向的分类。它涵盖基于噪声、锚点条件、网格和分布聚焦的方法，以及评估挑战。

ABSTRACT

Vision-based trajectory prediction is an important task that supports safe and intelligent behaviours in autonomous systems. Many advanced approaches have been proposed over the years with improved spatial and temporal feature extraction. However, human behaviour is naturally diverse and uncertain. Given the past trajectory and surrounding environment information, an agent can have multiple plausible trajectories in the future. To tackle this problem, an essential task named multi-future trajectory prediction (MTP) has recently been studied. This task aims to generate a diverse, acceptable and explainable distribution of future predictions for each agent. In this paper, we present the first survey for MTP with our unique taxonomies and a comprehensive analysis of frameworks, datasets and evaluation metrics. We also compare models on existing MTP datasets and conduct experiments on the ForkingPath dataset. Finally, we discuss multiple future directions that can help researchers develop novel multi-future trajectory prediction systems and other diverse learning tasks similar to MTP.

研究动机与目标

• 介绍多模态轨迹预测（MTP）问题及其对自主系统的重要性。
• 给出 MTP 框架的分类法并分析其优点与局限。
• 回顾在 MTP 研究中使用的数据集、基准和评估指标。
• 识别当前挑战、知识空缺以及未来 MTP 研究的有前景方向。
• 将 MTP 与下游任务（如运动规划）及可解释性考量联系起来。

提出的方法

• 对 MTP 框架进行调查与分类法开发，包括基于噪声、锚点条件、网格以及输出表示（高斯等）。
• 讨论训练目标和损失函数（如 variety loss、对抗损失、CVAE变分下界等）。
• 分析评估指标在 lower-bound、概率感知和分布感知等类别中的应用。
• 回顾数据集与基准（ETH/UCY、NuScenes、Argoverse、Waymo）以及合成 toy 数据集（ForkingPath）。
• 综合未来方向：指标、与运动规划的整合、语言引导的可解释性、轻量化框架、OOD 处理以及城市级预测。

Figure 1 : An example of Multimodal Trajectory Prediction . The blue, green and red lines are the observed, the ground truth and other possible paths respectively. The agent can have multiple plausible trajectories including the ground truth given an observed path.

实验结果

研究问题

• RQ1 用于多模态轨迹预测的主要框架家族有哪些，它们有何差异？
• RQ2 用于评估 MTP 模型的数据集与评估指标有哪些，它们的局限性是什么？
• RQ3 如何将 MTP 与下游任务（如运动规划与可解释性）集成？
• RQ4 哪些方向可以解决当前的不足，如模态覆盖、计算成本和 OOD 泛化？

主要发现

• MTP 框架分为基于噪声、锚点条件、网格和各种输出表示（如高斯、正则化流、DDPM）的类别。
• MTP 的评估指标分为 lower-bound、概率感知和分布感知三类，每类都有不同的局限性与挑战。
• ForkingPath 提供多条真实轨迹，用以更好地评估 MTP 模型的分布覆盖。
• 数据集如 ETH/UCY、Stanford Drone、NuScenes、Argoverse、Waymo 是标准基准，使用合成 toy 数据集来研究模式崩溃和社交接受度。
• 公认需要更好的指标、与运动规划的整合，以及语言引导的可解释性 MTP 作为未来方向。

(a) DTP