[论文解读] Forecasting Human Trajectory from Scene History

Mancheng Meng, Ziyan Wu+5 more|arXiv (Cornell University)|Oct 17, 2022

Video Surveillance and Tracking Methods被引用 13

一句话总结

该论文提出SHENet，一种新颖的人体轨迹预测框架，通过群体轨迹库和跨模态交互模块，利用场景历史信息——特别是历史群体轨迹和个体-周围环境交互——来提升预测准确性。在ETH、UCY和一个新的基准PAV上实现了最先进性能，相较于YNet在PETS上的FDE指标提升16.2%，并引入曲线平滑技术以降低对人类运动随机性和主观性的敏感度。

ABSTRACT

Predicting the future trajectory of a person remains a challenging problem, due to randomness and subjectivity of human movement. However, the moving patterns of human in a constrained scenario typically conform to a limited number of regularities to a certain extent, because of the scenario restrictions and person-person or person-object interactivity. Thus, an individual person in this scenario should follow one of the regularities as well. In other words, a person's subsequent trajectory has likely been traveled by others. Based on this hypothesis, we propose to forecast a person's future trajectory by learning from the implicit scene regularities. We call the regularities, inherently derived from the past dynamics of the people and the environment in the scene, scene history. We categorize scene history information into two types: historical group trajectory and individual-surroundings interaction. To exploit these two types of information for trajectory prediction, we propose a novel framework Scene History Excavating Network (SHENet), where the scene history is leveraged in a simple yet effective approach. In particular, we design two components: the group trajectory bank module to extract representative group trajectories as the candidate for future path, and the cross-modal interaction module to model the interaction between individual past trajectory and its surroundings for trajectory refinement. In addition, to mitigate the uncertainty in ground-truth trajectory, caused by the aforementioned randomness and subjectivity of human movement, we propose to include smoothness into the training process and evaluation metrics. We conduct extensive evaluations to validate the efficacy of our proposed framework on ETH, UCY, as well as a new, challenging benchmark dataset PAV, demonstrating superior performance compared to state-of-the-art methods.

研究动机与目标

• 为解决人体运动随机性和主观性带来的轨迹预测挑战。
• 利用场景历史信息——特别是历史群体轨迹和个体-周围环境交互——以提升预测可靠性。
• 开发一种在多样化、复杂真实场景中具有良好泛化能力的框架。
• 缓解由人体运动可变性导致的真值轨迹不确定性。
• 引入一个新的基准数据集（PAV）和新颖的评估指标（CS-ADE、CS-FDE），以考虑轨迹平滑性。

提出的方法

• 该框架引入群体轨迹库（GTB）模块，将历史个体轨迹聚类为具有代表性的群体轨迹，用于候选路径检索。
• 交叉模态交互（CMI）模块利用跨模态Transformer建模个体过去轨迹与环境上下文之间的交互，以实现轨迹优化。
• 在训练和评估中引入曲线平滑（CS）技术，以降低对突兀或噪声较大的人类运动的敏感度。
• 将场景历史分为两类：历史群体轨迹（HGT）和个体-周围环境交互（ISI），两者协同用于预测。
• GTB模块采用K-中心点聚类算法，并通过自适应阈值θ动态更新轨迹库，基于训练误差收敛性进行调整。
• 引入新的损失函数CS损失ℒ_cs，以鼓励预测轨迹更加平滑，提升对运动主观性的鲁棒性。

实验结果

研究问题

• RQ1 在受限环境中，能否有效利用场景历史信息，特别是历史群体轨迹，来提升人体轨迹预测性能？
• RQ2 如何建模个体-周围环境交互，以在个体运动模式之外进一步优化轨迹预测？
• RQ3 在训练和评估中引入曲线平滑技术，能在多大程度上减轻人类运动随机性和主观性的影响？
• RQ4 与最先进方法相比，所提出的SHENet框架在多样化且复杂的现实场景中泛化能力如何？
• RQ5 不同聚类数量和更新阈值对轨迹库性能与稳定性有何影响？

主要发现

• SHENet在ETH和UCY基准上达到最先进性能，在ADE和FDE指标上均优于现有方法。
• 在新提出的PAV基准上，SHENet相较YNet在FDE指标上提升16.2%，展现出在复杂、具有挑战性场景中的优越泛化能力。
• 引入曲线平滑（CS）技术显著提升了预测质量，尤其在突兀或噪声较大的运动情况下，定性对比结果已清晰显示其优势。
• 当K=32时，GTB模块性能最优，且对初始聚类数（K=24–36）的变化具有鲁棒性。
• 在PETS上θ=25，ADL上θ=6，均设定为收敛训练误差的75%，确保了轨迹库的有效更新。
• 定性结果表明，SHENet能成功预测复杂行为如突然转弯，而其他方法则失败，凸显了群体轨迹检索的优势。