[論文レビュー] Human Trajectory Prediction via Neural Social Physics

Jiangbei Yue, Dinesh Manocha+1 more|arXiv (Cornell University)|Jul 21, 2022

Traffic and Road Safety被引用数 5

ひとこと要約

本論文は、学習可能な物理ベースの社会的力モデルと変分オートエーコーダーを統合した、新しい微分可能ニューラルネットワークであるNeural Social Physics (NSP)を提案する。明示的な物理的インダクティブバイアスと深層学習のデータフィッティング能力を組み合わせることで、NSPは最先端の性能（5.56%〜70%の向上）を達成し、可視化された力によって解釈可能な運動説明を提供する。これはブラックボックスモデルに比べ、精度、一般化性能、妥当性の面で優れている。

ABSTRACT

Trajectory prediction has been widely pursued in many fields, and many model-based and model-free methods have been explored. The former include rule-based, geometric or optimization-based models, and the latter are mainly comprised of deep learning approaches. In this paper, we propose a new method combining both methodologies based on a new Neural Differential Equation model. Our new model (Neural Social Physics or NSP) is a deep neural network within which we use an explicit physics model with learnable parameters. The explicit physics model serves as a strong inductive bias in modeling pedestrian behaviors, while the rest of the network provides a strong data-fitting capability in terms of system parameter estimation and dynamics stochasticity modeling. We compare NSP with 15 recent deep learning methods on 6 datasets and improve the state-of-the-art performance by 5.56%-70%. Besides, we show that NSP has better generalizability in predicting plausible trajectories in drastically different scenarios where the density is 2-5 times as high as the testing data. Finally, we show that the physics model in NSP can provide plausible explanations for pedestrian behaviors, as opposed to black-box deep learning. Code is available: https://github.com/realcrane/Human-Trajectory-Prediction-via-Neural-Social-Physics.

研究の動機と目的

• 純粋にモデルベースの手法（データフィッティングが不十分）と純粋にモデルフリーの深層学習（解釈不能）の限界を解消すること。
• 物理ベースのモデリングのインダクティブバイアスと深層ニューラルネットワークのデータフィッティング能力を統合したハイブリッドフレームワークの開発。
• 多様で高密度な状況下でも、正確で一般化可能かつ説明可能な軌道予測を可能にすること。
• ブラックボックスの深層学習モデルとは異なり、可視化された物理的力によって解釈可能な運動説明を提供すること。

提案手法

• NSPは、学習可能な社会的力モデルを基盤とするニューラル微分方程式フレームワークを採用しており、その力学的ダイナミクスは社会的力モデルにインspiredされたものだが、バックプロパゲーションにより最適化されたパラメータを有する。
• 物理モデルには、目的地への引力、障害物回避、社会的反発力の3つの力が含まれており、それぞれが連続的力学系における微分可能な項として表現される。
• 運動ダイナミクスの確率性と観測ノイズをモデル化するため、条件付き変分オートエーコーダー（CVAE）が統合され、1ステップごとの確率的予測が可能になる。
• 全モデルは、ゴールのみのダイナミクスから始め、徐々に複雑さを追加するプログレッシブトレーニングスキームにより、エンドツーエンドで訓練される。
• フレームワークは、個々の力の寄与を可視化することで、軌道予測に加え、行動分析も可能にする。
• 標準的な指標（ADEやFDE）を用いて6つのベンチマークデータセットで評価され、コンponentの寄与を検証するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 学習可能な物理ベースのモデルは、完全にデータ駆動の深層学習手法に比べ、軌道予測の精度を向上させることができるか？
• RQ2 明示的な物理的力の統合により、トレーニング中に見られなかった高密度なシナリオへの一般化性能が向上するか？
• RQ3 微分可能な物理コンponentsの使用により、歩行者の運動に対する意味的かつ解釈可能な説明が可能になるか？
• RQ4 個々のコンponents（例：目的地への引力、反発力、確率性）が全体の予測性能にどのように寄与しているか？
• RQ5 トレーニングデータよりも著しく高い歩行者密度のシナリオにおいても、高い性能と妥当性を維持できるか？

主な発見

• NSPは6つのベンチマークデータセットで最先端の性能を達成し、ADEおよびFDEの観点でSOTA手法を5.56%〜70%向上させた。
• モデルは高密度なシナリオ（テストデータの2〜5倍の密度）に対しても効果的に一般化され、低衝突率と現実的な軌道を維持した。
• アブレーションスタディの結果、CVAEによる確率性の導入が顕著な性能向上をもたらした（ADE：6.52 → 1.78）、その重要性が裏付けられた。
• NSP-SFMにおける可視化された力は、社会的または環境的要因による回避行動などの運動のずれを、妥当かつ解釈可能な説明として提供する。
• ゴールへの引力のみのベースラインと比較して、NSPは顕著な性能向上を示した（ADE：6.57 → 1.78）、複雑な環境下での反発力の重要性を示した。
• フレームワークは予測を超えた行動分析を可能にし、力が運動意思決定における因果要因として解釈可能であるのに対し、ブラックボックスモデルとは異なり、そのような解釈は不可能である。