[論文レビュー] The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction

Junwei Liang, Lu Jiang+3 more|arXiv (Cornell University)|Dec 13, 2019

Video Surveillance and Tracking Methods参考文献 65被引用数 11

ひとこと要約

本稿では、複数のヒューマンアノテート済み未来軌跡を同一の過去に対して持つ、合成的で3次元シミュレートされたベンチマーク「Forking Pathsデータセット」を紹介する。これにより、マルチフューチャー軌跡予測の定量的評価が可能となる。また、マルチスケールのロケーションエンコーディングとグラフベースの畳み込みRNNを用いたMultiverseモデルを提案し、多様で現実的な未来パスの生成に成功。本モデルは、新規ベンチマークおよび実世界のVIRAT/ActEVデータセットにおいて、最先端の性能を達成した。

ABSTRACT

This paper studies the problem of predicting the distribution over multiple possible future paths of people as they move through various visual scenes. We make two main contributions. The first contribution is a new dataset, created in a realistic 3D simulator, which is based on real world trajectory data, and then extrapolated by human annotators to achieve different latent goals. This provides the first benchmark for quantitative evaluation of the models to predict multi-future trajectories. The second contribution is a new model to generate multiple plausible future trajectories, which contains novel designs of using multi-scale location encodings and convolutional RNNs over graphs. We refer to our model as Multiverse. We show that our model achieves the best results on our dataset, as well as on the real-world VIRAT/ActEV dataset (which just contains one possible future).

研究の動機と目的

• マルチフューチャー軌跡予測モデルの定量的ベンチマークの不足に取り組むこと。従来、単一の未来の真値に依存していた。
• 実世界のデータとヒューマンアノテートされた目的指向行動に基づき、現実的でスケーラブルなデータセットを構築すること。このデータセットには、複数の妥当な未来軌跡が含まれる。
• 過去の動きとシーンの文脈を条件として、多様で意味的に妥当な未来軌跡を生成できる深層学習モデルを開発すること。
• 合成データで学習し、VIRAT/ActEVのような実世界の動画ベンチマークでテストすることで、モデルの頑健性と一般化性能を検証すること。

提案手法

• Forking Pathsデータセットは、3次元のCARLAシミュレータを用いて生成され、実世界の軌跡が3次元環境に投影され、ヒューマンアノテーターが意味的に意味のある目的地に向けて延長された。
• Multiverseモデルは、2段階のマルチスケールロケーションエンコーディングを採用する。粗い2次元グリッドでマルチモーダルな到着地分布をモデル化し、細かいスケールのオフセット予測で正確な局所化を実現する。
• 2次元空間グラフ上に空間的グラフアテンション機構を適用し、シーンの文脈をエンコードするとともに、エージェントとシーン要素間の相互作用をモデル化する。
• 空間グラフ上に畳み込みRNNを適用し、軌跡系列における局所的な動きのパターンと時間的依存性を捉える。
• モデルはエンドツーエンドで学習され、合成データセット上でADEおよびFDE指標を用いたマルチフューチャー予測損失を最小化する。ドメイン適応により、実世界データにも一般化可能である。

Figure 2 : Overview of our model. The input to the model is the ground truth location history, and a set of video frames, which are preprocessed by a semantic segmentation model. This is encoded by the “History Encoder” convolutional RNN. The output of the encoder is fed to the convolutional RNN dec

実験結果

リサーチクエスチョン

• RQ1 ヒューマンアノテート済みの複数の未来軌跡を備えた、合成的でシミュレーションベースのデータセットが、マルチフューチャー軌跡予測の信頼できる定量的ベンチマークとして機能するか？
• RQ2 マルチスケールロケーションエンコーディング戦略は、多様でマルチモーダルな未来軌跡をモデル化するのにどの程度有効か？
• RQ3 グラフベースのアテンションと畳み込みRNNは、軌跡予測におけるシーンの文脈と運動ダイナミクスのモデル化をどの程度向上させるか？
• RQ4 合成データで学習したモデルは、VIRAT/ActEVのような実世界の動画ベンチマークに効果的に一般化できるか？

主な発見

• Multiverseモデルは、実データで学習した場合、VIRAT/ActEVベンチマークで最高の公表済み結果を達成し、ADEが18.51、FDEが35.84であった。
• 提案されたForking Pathsデータセットにおいて、MultiverseはminADE 20として166.1、minFDE 20として329.5を達成し、マルチフューチャー予測分野における最先端モデルを上回った。
• アブレーションスタディの結果、空間グラフや細かいロケーションデコーダーを削除すると性能が著しく低下し、これらがシーンの文脈と精度のモデル化において重要であることが裏付けられた。
• ドメインシフトに対して頑健であることが示され、合成データから実データへの転移においてADEがわずか4.43ポイント低下した。これは、RGB依存のモデル（Nextなど）を上回る性能であった。
• 合成データと実データの両方でモデルの性能順位が一貫しており、合成データセットが信頼できる評価プラットフォームであることが検証された。

Figure 3 : Visualization of the Forking Paths dataset. On the left is examples of the real videos and the second column shows the reconstructed scenes. The person in the blue bounding box is the controlled agent and multiple future trajectories annotated by humans are shown by overlaid person frames