[論文レビュー] Collaborative Motion Prediction via Neural Motion Message Passing

Yue Hu, Siheng Chen+2 more|arXiv (Cornell University)|Mar 14, 2020

Autonomous Vehicle Technology and Safety参考文献 42被引用数 4

ひとこと要約

本稿では、観測された軌跡から交通参加者とその有向相互作用の両方の共同表現を学ぶ、グラフベースの手法であるNeural Motion Message Passing (NMMP)を提案する。相互作用を明示的にモデル化し、解釈可能性を確保することで、歩行者および歩行者・車両の共同シナリオにおける運動予測性能が向上し、複数のベンチマークで先行する最先端手法を上回る。

ABSTRACT

Motion prediction is essential and challenging for autonomous vehicles and social robots. One challenge of motion prediction is to model the interaction among traffic actors, which could cooperate with each other to avoid collisions or form groups. To address this challenge, we propose neural motion message passing (NMMP) to explicitly model the interaction and learn representations for directed interactions between actors. Based on the proposed NMMP, we design the motion prediction systems for two settings: the pedestrian setting and the joint pedestrian and vehicle setting. Both systems share a common pattern: we use an individual branch to model the behavior of a single actor and an interactive branch to model the interaction between actors, while with different wrappers to handle the varied input formats and characteristics. The experimental results show that both systems outperform the previous state-of-the-art methods on several existing benchmarks. Besides, we provide interpretability for interaction learning.

研究の動機と目的

• 自律システムの運動予測における交通参加者間の複雑で有向な相互作用をモデル化する課題に取り組む。
• 歩行者単体および歩行者・車両の共同シナリオにおける運動予測精度を、相互作用表現を明示的に学習することで向上させる。
• 分離可能で意味的に意味のある相互作用埋め込みを用いて、相互作用学習の解釈可能性を実現する。
• 共有される相互作用モデルを用いて、異なる運動予測設定に一般化可能な統一フレームワークを設計する。
• 相互作用を暗黙的または方向性や動的相互作用パターンを考慮しない方法が、従来の手法に見られる限界を克服する。

提案手法

• 運動予測に適応されたメッセージスレッディングフレームワークとして、Neural Motion Message Passing (NMMP)を提案し、軌跡から参加者およびそのペアワイズ相互作用の共同表現を学習する。
• ノードが参加者、エッジが有向相互作用を表す相互作用グラフを構築し、ノードおよびエッジの両方に学習可能な埋め込みを導入する。
• 二重ブランチアーキテクチャを採用：個別ブランチは単一参加者のダイナミクスをモデル化し、インタラクティブブランチはNMMPを介して参加者間の相互作用をモデル化する。
• タスク固有のラッパーを統合：オープンエリアの歩行者シーンにはGANベースのデコーダーを、マップと車両の進行方向を含む都市部ドライブシナリオにはCNN + 座標変換を適用する。
• t-SNEを用いて相互作用埋め込みを可視化し、空間的相互作用パターンと相関づけることで、解釈可能性を実現する。
• 将来の軌跡予測に対する教師あり損失を用いてエンドツーエンドで学習し、評価指標としてADEおよびFDEを用いる。

実験結果

リサーチクエスチョン

• RQ1 交通参加者間の有向的かつ動的相互作用を明示的にモデル化することで、複雑なシーンにおける運動予測性能が向上するか？
• RQ2 従来のグラフベースおよびアテンションベースの相互作用モデル化手法と比較して、提案されたNMMPモジュールは精度および一般化性能においてどのように差をつけるか？
• RQ3 多数の社会的相互作用が存在する高密度な群衆シナリオにおいて、NMMPモジュールはどれほど性能を向上させるか？
• RQ4 NMMPが学習する相互作用埋め込みは、現実の相互作用パターンを反映する意味的に解釈可能な形で可視化可能か？
• RQ5 共有されるNMMPとタスク固有のヘッドを持つ二重ブランチアーキテクチャは、歩行者単体および歩行者・車両の共同シナリオなど、多様な運動予測設定に一般化可能か？

主な発見

• 提案されたPMP-NMMPシステムは、ETH-UCYデータセットのSGANベースラインを上回り、HOTELセットにおいてADEで25.4%、FDEで12.7%の相対的改善を達成した。
• NMMPにおけるダブルデコーダー構造はシングルデコーダー構造を著しく上回り、ADE/FDEが0.52/1.11（ダブル）と0.56/1.19（シングル）を示し、マルチエージェント影響のより良いモデル化を示している。
• システムの最終出力は個別ブランチの出力よりも優れており、軌跡予測においてインタラクティブブランチが果たす重要な役割を裏付けている。
• 群衆シナリオにおいて参加者数が増加するにつれ、NMMPとSGANの性能差は拡大し、高密度なシーンではADEで30%以上、FDEで25%以上の正規化比が観察された。
• 相互作用埋め込みの可視化により、並走する歩行者や向かい合って立つなどの類似した相互作用パターンが埋め込み空間内でクラスタリングすることが確認され、解釈可能性と意味的整合性が裏付けられた。
• NMMPモジュールは、歩行者シナリオおよび歩行者・車両の共同シナリオの両方で一貫した性能向上を実現し、一般化能力を検証した。