[論文レビュー] Multiple Futures Prediction

Yichuan Tang, Ruslan Salakhutdinov|arXiv (Cornell University)|Nov 4, 2019

Autonomous Vehicle Technology and Safety被引用数 119

ひとこと要約

MFPは、離散的潜在変数を持つ確率的かつエンドツーエンドのフレームワークで、任意の数のエージェントに対して多モーダルで相互作用的な未来の軌跡を共同で予測し、閉形式の確率と仮想ロールアウトを運転データセット上で実証します。

ABSTRACT

Temporal prediction is critical for making intelligent and robust decisions in complex dynamic environments. Motion prediction needs to model the inherently uncertain future which often contains multiple potential outcomes, due to multi-agent interactions and the latent goals of others. Towards these goals, we introduce a probabilistic framework that efficiently learns latent variables to jointly model the multi-step future motions of agents in a scene. Our framework is data-driven and learns semantically meaningful latent variables to represent the multimodal future, without requiring explicit labels. Using a dynamic attention-based state encoder, we learn to encode the past as well as the future interactions among agents, efficiently scaling to any number of agents. Finally, our model can be used for planning via computing a conditional probability density over the trajectories of other agents given a hypothetical rollout of the 'self' agent. We demonstrate our algorithms by predicting vehicle trajectories of both simulated and real data, demonstrating the state-of-the-art results on several vehicle trajectory datasets.

研究の動機と目的

• 動的で多エージェント環境において、複数の起こり得る未来を予測することによって、堅牢で安全な意思決定を促進する。
• 固定されたエージェント数や明示的なモードラベルを入力とせず、エージェント間の相互作用と文脈を捉えるスケーラブルなモデルを開発する。
• データから直接意味的に意味のある潜在モードを学習し、多様な将来の挙動を表現する。
• 想定されたエージェントのロールアウトを前提とした条件付き軌跡分布を評価することで、仮想推論による計画を可能にする。

提案手法

• 任意のNに対して拡張可能になるよう、時間とエージェント間で結合未来を分解する逐次的確率的潜在変数モデル（MFP）を提案する。
• ラベル付き意図なしで多モーダルな未来モードを捉えるため、各エージェントに1つずつ、Multinoulli(K)から抽出される離散潜在変数 z^n を用いる。
• エージェントごとの PoV エンコーダ、動的注意機構に基づく状態エンコーディング、重みを共有するエージェントごとのデコーディング RNN を実装して未来軌跡を予測する。
• 小さなKのため、離散Zに対して厳密な事後推定を行える ELBO を用いた EM風最適化による、扱いやすい学習目的を提供する。
• 他のエージェントの予測未来を条件付けとして各エージェントの未来を条件づけることで、相互作用的なロールアウトを共同で行い、仮想推論（自己軌道を条件とする）を可能にする。
• 各エージェントの未来を、扱いやすい尤度と計画のための5次元ガウス分布（mu_x, mu_y, sigma_x, sigma_y, rho）として出力する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きモードがなくても、可変数のエージェントに対して多モーダルで相互作用的な未来を統一的潜在変数フレームワークで捉えることができるか？
• RQ2 離散潜在変数をどのように用いて、数ステップにわたって持続する意味のある未来モードを学習できるのか？
• RQ3 計画のための条件付き軌跡確率と仮想ロールアウトを、効率的かつ閉形式で評価できるだろうか？
• RQ4 動的注意エンコーディングは、マルチエージェント予測の相互作用およびシーン文脈の状態表現を改善するか？

主な発見

• MFPは監視なしで意味的に有意な潜在モードを学習し、エージェント間で直行、停止、右折などの異なる挙動を表現する。
• 共有パラメータのエージェントごとRNNと時間とエージェントに対する分解可能な尤度により、エージェント数に対して任意にスケールする。
• MFPはCARLA、NGSIM、Argoverseデータセットで、複数の指標で最先端または競合的な結果を達成する。
• 仮想ロールアウトは、1つまたは複数のエージェントの軌道を条件づけとして、計画タスクの条件付き予測を得ることを可能にする。
• 動的注意エンコーディングは、エージェント間の関係とシーン文脈を効果的にエンコードすることで予測品質を向上させる。