[論文レビュー] JFP: Joint Future Prediction with Interactive Multi-Agent Modeling for Autonomous Driving

Wenjie Luo, Cheol‐Ho Park+3 more|arXiv (Cornell University)|Dec 16, 2022

Human Mobility and Location-Based Analysis被引用数 7

ひとこと要約

JFPは、デコーダーで相互作用をモデル化することにより、一貫性があり重複のないマルチエージェント軌跡を生成する動的ペアワイズグラフィカルモデルを用いたエンド・ツー・エンドで訓練可能な共同未来予測モデルを提案する。Waymo Open Motion Datasetにおいて最先端の性能を達成し、公開および産業スケールのデータセットにおいて軌跡の重複度を顕著に改善した。

ABSTRACT

We propose JFP, a Joint Future Prediction model that can learn to generate accurate and consistent multi-agent future trajectories. For this task, many different methods have been proposed to capture social interactions in the encoding part of the model, however, considerably less focus has been placed on representing interactions in the decoder and output stages. As a result, the predicted trajectories are not necessarily consistent with each other, and often result in unrealistic trajectory overlaps. In contrast, we propose an end-to-end trainable model that learns directly the interaction between pairs of agents in a structured, graphical model formulation in order to generate consistent future trajectories. It sets new state-of-the-art results on Waymo Open Motion Dataset (WOMD) for the interactive setting. We also investigate a more complex multi-agent setting for both WOMD and a larger internal dataset, where our approach improves significantly on the trajectory overlap metrics while obtaining on-par or better performance on single-agent trajectory metrics.

研究の動機と目的

• 予測デコーダーにおける共同モデリングの欠如により、予測が一貫性を欠き、重複が生じる問題に対処すること。
• エンコーディングを超えた相互作用的なマルチエージェントダイナミクスを捉えるエンド・ツー・エンドで訓練可能なモデルを構築すること。
• 構造的な出力表現に注目し、複雑で混雑した状況における軌跡の一貫性を向上させ、現実的でない重複を低減すること。
• 自律走行車（AV）中心の計画において条件付き推論を可能にするために、自律走行車の軌跡に条件付けられた結合分布をモデル化すること。
• 公開ベンチマークをはるかに超えた大規模産業データセットに対しても、効果的に一般化できること。

提案手法

• ノードがエージェントを表し、エッジが単一の軌跡予測に基づく動的ペアワイズ相互作用を表す、ペアワイズマルコフ確率的場（MRF）の定式化を採用する。
• 予測された軌跡から動的相互作用グラフを構築し、真値グラフの教師信号を必要とせずに、文脈に応じたエージェント関係のモデリングを可能にする。
• ペアワイズポテンシャルをエージェントペア間で計算し、軌跡の一貫性をエンコードし、メッセージパッシングを用いて結合予測を精緻化する。
• すべてのエージェントの将来の軌跡の結合対数尤度を最適化することで、エンド・ツー・エンドでモデルを訓練する。
• エネルギーに基づくモデリングにより、AV計画において不可欠な条件付き推論を効率的に行える。
• 完全接続型およびスターベースのグラフ構造の両方をサポートし、特にエゴセントリックな自律走行車のシナリオにおいて優れた性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 デコーダーで構造的相互作用モデリングを実施した共同未来予測は、個別予測ベースラインと比較して軌跡の重複を低減できるか？
• RQ2 予測された軌跡に基づく動的グラフ構築は、結合運動予測性能にどのように影響するか？
• RQ3 大規模産業データセットに対しても、重複度や条件付き予測といった結合指標を維持したまま一般化できるか？
• RQ4 出力段階でペアワイズ相互作用をモデル化することで、衝突回避の明示的ドメイン知識を必要とせずに、より良い一貫性が得られるか？
• RQ5 相互作用グラフのトポロジー（例：スターベース対完全接続型）の選択が、マルチエージェントシーンにおける性能とスケーラビリティに与える影響は何か？

主な発見

• JFPは、Waymo Open Motion Datasetのインタラクティブモーション予測トラックで最先端の性能を達成し、MultiPath++ や SceneTransformer を上回った。
• WOMDおよびより大きな社内データセットの両方において、JFPは軌跡の重複度を顕著に低減した。個別およびペアワイズ指標がベースラインと同等または優れている状況でも、重複度指標が顕著に改善された。
• 動的グラフバージョンは、スターや完全接続型の固定グラフ構造よりも優れた性能を示し、エージェント数が多い複雑なシナリオで特に顕著であった。
• AVを中心としたスターグラフを用いたモデルは、AV条​​件付き指標において優れた性能を発揮し、エゴセントリック計画に適していることを示した。
• MRFフレームワーク内でのメッセージパッシングによる条件付き推論により、特定のAV軌跡に条件付けられた正確な結合予測が可能となり、実世界のAVスタックにおいて不可欠な要件を満たした。
• 定性的な結果から、JFPは交差点や左折行動、混雑した交通状況といった挑戦的なシナリオでも、軌跡の重複を効果的に回避していることが確認された。