[论文解读] Human Trajectory Prediction via Neural Social Physics

Jiangbei Yue, Dinesh Manocha+1 more|arXiv (Cornell University)|Jul 21, 2022

Traffic and Road Safety被引用 5

一句话总结

本文提出神经社会物理模型（NSP），一种新颖的可微分神经网络，将可学习的基于物理的社会力模型与变分自编码器相结合，以提升人类轨迹预测性能。通过融合显式的物理归纳偏置与深度学习的数据拟合能力，NSP在准确率、泛化能力和合理性方面均优于黑箱模型，实现最先进性能（ADE与FDE指标提升5.56%至70%），并通过可视化受力情况提供可解释的运动机理分析。

ABSTRACT

Trajectory prediction has been widely pursued in many fields, and many model-based and model-free methods have been explored. The former include rule-based, geometric or optimization-based models, and the latter are mainly comprised of deep learning approaches. In this paper, we propose a new method combining both methodologies based on a new Neural Differential Equation model. Our new model (Neural Social Physics or NSP) is a deep neural network within which we use an explicit physics model with learnable parameters. The explicit physics model serves as a strong inductive bias in modeling pedestrian behaviors, while the rest of the network provides a strong data-fitting capability in terms of system parameter estimation and dynamics stochasticity modeling. We compare NSP with 15 recent deep learning methods on 6 datasets and improve the state-of-the-art performance by 5.56%-70%. Besides, we show that NSP has better generalizability in predicting plausible trajectories in drastically different scenarios where the density is 2-5 times as high as the testing data. Finally, we show that the physics model in NSP can provide plausible explanations for pedestrian behaviors, as opposed to black-box deep learning. Code is available: https://github.com/realcrane/Human-Trajectory-Prediction-via-Neural-Social-Physics.

研究动机与目标

• 为解决纯模型驱动方法（数据拟合能力差）与纯端到端深度学习方法（缺乏可解释性）在人类轨迹预测中的局限性。
• 开发一种混合框架，将基于物理建模的归纳偏置与深度神经网络的数据拟合能力相结合。
• 实现在多样化与高密度场景下的准确、可泛化且可解释的轨迹预测。
• 通过可视化物理受力，提供可解释的运动机理说明，区别于黑箱深度学习模型。

提出的方法

• NSP采用神经微分方程框架，其动力学由可学习的社会力模型控制，该模型受社会力模型启发，但参数通过反向传播进行优化。
• 物理模型包含三种力：目标吸引力、障碍物避让与社会排斥力，每种力均以可微分项的形式表示于连续动力系统中。
• 引入条件变分自编码器（CVAE）以建模运动动力学中的随机性与观测噪声，实现每一步的不确定性预测。
• 整个模型采用渐进式训练策略进行端到端训练，从仅含目标动力学开始，逐步增加复杂性。
• 该框架支持轨迹预测与行为分析，通过可视化各力的贡献实现。
• 模型在六个基准数据集上使用标准指标（如ADE与FDE）进行评估，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 与纯数据驱动的深度学习方法相比，可学习的基于物理的模型是否能提升轨迹预测的准确性？
• RQ2 显式引入物理受力是否能增强模型在训练中未见的高密度场景下的泛化能力？
• RQ3 可微分物理组件的使用是否能实现有意义且可解释的人类运动机理说明？
• RQ4 各组件（如目标吸引力、排斥力、随机性）对整体预测性能的贡献如何？
• RQ5 在训练数据密度显著更高的场景下，模型是否仍能保持高性能与合理性？

主要发现

• NSP在六个基准数据集上均达到最先进性能，ADE与FDE指标相比SOTA方法提升5.56%至70%。
• 模型在高密度场景（密度为测试数据的2至5倍）中表现出良好泛化能力，碰撞率低且轨迹合理。
• 消融实验表明，通过CVAE引入随机性可显著提升性能（ADE从6.52降至1.78），证明其关键作用。
• NSP-SFM中可视化受力能为运动偏移（如因社会或环境因素导致的避让动作）提供合理且可解释的机理说明。
• 与仅含目标吸引力的基线模型相比，NSP显著提升性能（ADE从6.57降至1.78），证明排斥力在复杂环境中的关键作用。
• 该框架不仅支持预测，还可实现行为分析，因各力可被解释为运动决策的因果因素，而黑箱模型不具备此能力。