[論文レビュー] Trajectory Prediction with Latent Belief Energy-Based Model

Bo Pang, Tianyang Zhao+2 more|arXiv (Cornell University)|Apr 7, 2021

Autonomous Vehicle Technology and Safety参考文献 61被引用数 5

ひとこと要約

本論文は、エキスパートのデモから低次元の潜在空間における確率的コスト関数を学習することで、マルチモーダルで社会的要請を満たす人間の軌道予測を目的とした、潜在的信念エネルギーに基づくモデル（LB-EBM）を提案する。このモデルは2段階のアプローチを採用しており、まずEBM最適化により社会的要因を考慮した信念ベクトルを推論し、次にその信念を条件として多様で長距離にわたる軌道を生成する。SDDおよびETH-UCYベンチマークにおいて、それぞれ10.9%および27.6%の性能向上を達成し、最先端の性能を実現した。

ABSTRACT

Human trajectory prediction is critical for autonomous platforms like self-driving cars or social robots. We present a latent belief energy-based model (LB-EBM) for diverse human trajectory forecast. LB-EBM is a probabilistic model with cost function defined in the latent space to account for the movement history and social context. The low-dimensionality of the latent space and the high expressivity of the EBM make it easy for the model to capture the multimodality of pedestrian trajectory distributions. LB-EBM is learned from expert demonstrations (i.e., human trajectories) projected into the latent space. Sampling from or optimizing the learned LB-EBM yields a belief vector which is used to make a path plan, which then in turn helps to predict a long-range trajectory. The effectiveness of LB-EBM and the two-step approach are supported by strong empirical results. Our model is able to make accurate, multi-modal, and social compliant trajectory predictions and improves over prior state-of-the-arts performance on the Stanford Drone trajectory prediction benchmark by 10.9% and on the ETH-UCY benchmark by 27.6%.

研究の動機と目的

• 自律システムにおけるマルチモーダルで社会的要請を満たす人間の軌道予測の課題に取り組むこと。
• 低次元の潜在空間における確率的でエネルギーに基づくフレームワークを用いて、複雑な歩行者行動と社会的相互作用をモデル化すること。
• 逆強化学習とエンドツーエンドのディープラーニングを組み合わせることで、軌道予測の精度と多様性を向上させること。
• まず潜在的信念を用いて粗い経路を計画し、その後運動履歴と社会的側面を統合して改善する2段階の予測パイプラインを開発すること。
• スタンフォードドローンおよびETH-UCYなどの標準ベンチマークで、既存の最先端手法を上回ること。

提案手法

• モデルは、ニューラルネットワークでパラメータ化された低次元の潜在空間における潜在的信念エネルギーに基づくモデル（LB-EBM）をコスト関数として学習し、逆強化学習の原則に従って訓練する。
• 観測された軌道を潜在空間にマップするエンコーダーネットワークを同時に訓練し、EBMが移動履歴と周囲の歩行者ダイナミクスを考慮できるようにする。
• EBMはボルツマン／ギブス分布によって定義され、制限的なパラメトリックな仮定を課さずに高い表現力とマルチモーダルな分布モデリングを可能にする。
• 2段階の軌道予測パイプラインを採用する：まず、EBMの最適化により、妥当な将来の経路を表す信念ベクトルを生成し、次にポリシー生成器がこの信念を完全な軌道にマッピングする。
• 再構成損失、変分後確率とEBM後確率のKLダイバージェンス、および隣接エージェントのプーリングによる社会的相互作用モデリングを組み合わせた複合損失を用いて、エンドツーエンドで訓練する。
• 社会的文脈は、周囲の歩行者の特徴を集約して潜在的信念を情報化する社会的プーリング機構を通じて統合される。

実験結果

リサーチクエスチョン

• RQ1 潜在的信念エネルギーに基づくモデルは、人間の軌道分布のマルチモーダル性を効果的に捉えることができるか？
• RQ2 低次元の潜在空間におけるコスト関数のモデリングは、直接的なポリシー学習と比較して、軌道予測にどのように寄与するか？
• RQ3 2段階の計画・生成アプローチは、予測精度と多様性をどの程度向上させるか？
• RQ4 モデルは、譲り合い、一緒に歩行する、衝突回避といった社会的相互作用パターンをどの程度正しく捉えられるか？
• RQ5 エージェント自身の履歴モデル化と比較して、社会的文脈の統合は予測性能を顕著に向上させるか？

主な発見

• SDDベンチマークでは、平均的移動誤差（ADE）で10.9%、最終移動誤差（FDE）で27.6%の改善を達成し、先行する最先端手法を上回った。
• ETH-UCYベンチマークでは、ADEが27.6%向上したが、特にETHデータセットで最大の向上（44.4%）を示し、ZARA1では最小の向上（9.1%）を示した。
• アブレーションスタディの結果、EBMまたは2段階の計画メカニズムを削除すると性能が著しく低下し、マルチモーダル性と長距離計画のモデリングにおいて両者の重要性が確認された。
• 社会的プーリングを備えたモデルは、それを備えないバージョンよりも優れた性能を示し、特に複雑な相互作用シナリオにおいて社会的側面が予測精度を顕著に向上させることを示した。
• 定性的な結果から、モデルは相互譲り合い、同期した方向転換、グループ移動といった相互作用パターンを正しく捉えた多様でマルチモーダルな予測を生成していることがわかった。
• モデルの信念ベクトルは、個々の行動パターンと社会的文脈の両方を効果的に符号化できており、正確で社会的要請を満たす長距離の軌道予測を可能にした。