[论文解读] From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting

Karttikeya Mangalam, Yang An+2 more|arXiv (Cornell University)|Dec 2, 2020

Autonomous Vehicle Technology and Safety参考文献 32被引用 37

一句话总结

本文提出 Y-net，一种场景自适应的轨迹预测模型，将多模态不确定性分解为认知不确定性（长期目标）和偶然不确定性（中间路径点与轨迹）两部分。通过分层建模目标分布与路径分布，Y-net 在短期（SDD、ETH/UCY）和一项新型长期（最长60秒）预测基准上均取得最先进性能，在长时程设置下，FDE 和 ADE 分别提升 51.9% 和 77.1%。

ABSTRACT

Human trajectory forecasting is an inherently multi-modal problem. Uncertainty in future trajectories stems from two sources: (a) sources that are known to the agent but unknown to the model, such as long term goals and (b)sources that are unknown to both the agent & the model, such as intent of other agents & irreducible randomness indecisions. We propose to factorize this uncertainty into its epistemic & aleatoric sources. We model the epistemic un-certainty through multimodality in long term goals and the aleatoric uncertainty through multimodality in waypoints& paths. To exemplify this dichotomy, we also propose a novel long term trajectory forecasting setting, with prediction horizons upto a minute, an order of magnitude longer than prior works. Finally, we presentY-net, a scene com-pliant trajectory forecasting network that exploits the pro-posed epistemic & aleatoric structure for diverse trajectory predictions across long prediction horizons.Y-net significantly improves previous state-of-the-art performance on both (a) The well studied short prediction horizon settings on the Stanford Drone & ETH/UCY datasets and (b) The proposed long prediction horizon setting on the re-purposed Stanford Drone & Intersection Drone datasets.

研究动机与目标

• 为解决人类轨迹预测中固有的多模态性，通过区分认知不确定性（未知的长期目标）与偶然不确定性（不可预测的路径变化）来实现。
• 提出一个新的长期轨迹预测基准，预测时域最长可达60秒，比以往工作长一个数量级。
• 设计一种场景自适应的深度学习模型 Y-net，显式建模目标与路径的多模态性，以实现多样化且准确的长时程预测。
• 证明分解不确定性可提升性能，尤其在偶然变异性占主导的长期预测中优势更明显。

提出的方法

• Y-net 采用 U-net 架构，预测认知不确定性（最终目标）和偶然不确定性（中间路径点与完整轨迹）的显式概率热力图。
• 模型估计长期目标上的多模态分布（Ke），并在每个采样目标条件下，预测中间路径点与路径的多模态分布（Ka）。
• 采用场景条件注意力机制与基于图的消息传递，将场景语义信息融入轨迹预测。
• 模型采用两阶段采样策略：首先从估计的目标分布中采样目标，然后在每个目标条件下采样路径。
• 引入一种推理时采样技巧（TTST），以提升推理阶段的轨迹多样性与准确性。
• 该框架通过在不同时间时域下进行条件控制，支持短期与长期预测。

实验结果

研究问题

• RQ1 分解认知不确定性与偶然不确定性在多大程度上提升了长期人类轨迹预测性能？
• RQ2 统一模型能否有效预测在扩展时域（最长60秒）内多样化且符合场景的轨迹？
• RQ3 当短期模型被递归应用于长期预测时，其性能如何退化？
• RQ4 增加路径多模态性（Ka）与目标多模态性（Ke）对预测准确率有何影响？
• RQ5 显式建模目标与路径不确定性是否优于联合建模多模态性？

主要发现

• 在 Stanford Drone 数据集上，Y-net 在短期预测（tf = 5s）中，ADE 提升 34.0%，FDE 提升 51.9%，优于当前最先进方法。
• 在 ETH/UCY 基准上，Y-net 相较于先前 SOTA，ADE 提升 5.6%，FDE 提升 51.9%。
• 在提出的长期预测设置（tf = 30s）中，Y-net 在 Stanford Drone 数据集上相较 PECNet，ADE 提升 50.6%，FDE 提升 77.1%。
• 在 Intersection Drone 数据集上，Y-net 在长期预测中相较 PECNet，ADE 降低 35.0%，FDE 降低 55.9%。
• 测试时采样技巧（TTST）在 SDD 上使 ADE 降低 9.1%，InD 上降低 18.5%；FDE 分别降低 30.4% 和 35.0%，表明其在提升轨迹多样性与准确性方面的有效性。
• 调整 Ka（路径多模态性）始终能改善 ADE；即使样本数量增加 20 倍，PECNet 仍不如 Y-net 在 Ke = 20 时的表现，证明了分解不确定性建模的优势。