[論文レビュー] Vision-based Multi-future Trajectory Prediction: A Survey

Renhao Huang, Hao Xue+3 more|arXiv (Cornell University)|Feb 21, 2023

Human Mobility and Location-Based Analysis被引用数 17

ひとこと要約

マルチモーダル軌道予測（MTP）の総合的な調査で、フレームワークの分類体系、データセット、評価指標、今後の方向性を詳述する。ノイズベース、アンカー条件付け、グリッドベース、分布志向アプローチをカバーし、評価の課題も扱う。

ABSTRACT

Vision-based trajectory prediction is an important task that supports safe and intelligent behaviours in autonomous systems. Many advanced approaches have been proposed over the years with improved spatial and temporal feature extraction. However, human behaviour is naturally diverse and uncertain. Given the past trajectory and surrounding environment information, an agent can have multiple plausible trajectories in the future. To tackle this problem, an essential task named multi-future trajectory prediction (MTP) has recently been studied. This task aims to generate a diverse, acceptable and explainable distribution of future predictions for each agent. In this paper, we present the first survey for MTP with our unique taxonomies and a comprehensive analysis of frameworks, datasets and evaluation metrics. We also compare models on existing MTP datasets and conduct experiments on the ForkingPath dataset. Finally, we discuss multiple future directions that can help researchers develop novel multi-future trajectory prediction systems and other diverse learning tasks similar to MTP.

研究の動機と目的

• 自動運転システムにとってのマルチモーダル軌道予測（MTP）問題とその重要性を紹介する。
• MTPフレームワークの分類体系を提示し、それらの長所と限界を分析する。
• MTP研究で用いられるデータセット、ベンチマーク、評価指標をレビューする。
• 現在の課題やギャップ、将来の有望な方向性を特定する。
• MTPを運動計画や説明可能性の考慮といった下流タスクと結びつける。

提案手法

• ノイズベース、アンカー条件付け、グリッドベース、出力表現（ガウス分布など）を含むMTPフレームワークの調査と分類法の開発。
• トレーニング目的と損失関数の議論（例：バラエティ損失、対向的損失、CVAE証拠下界）。
• 下界・確率志向・分布志向のカテゴリにまたがる評価指標の分析。
• データセットとベンチマークのレビュー（ETH/UCY、NuScenes、Argoverse、Waymo）と合成のおもちゃデータセット（ForkingPath）。
• 今後の方向性の統合：指標、運動計画との統合、言語誘導による説明性、軽量フレームワーク、OOD対応、都市全体の予測。

Figure 1 : An example of Multimodal Trajectory Prediction . The blue, green and red lines are the observed, the ground truth and other possible paths respectively. The agent can have multiple plausible trajectories including the ground truth given an observed path.

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル軌道予測に用いられる主なフレームワークファミリーは何で、どのように異なるのか？
• RQ2 MTPモデルを評価するために使用されるデータセットと評価指標は何で、これらの指標の限界は何か？
• RQ3 MTPを運動計画や説明可能性といった下流タスクとどのように統合できるか？
• RQ4 モダリティのカバレッジ、計算、OOD一般化など現状の欠点を解決する方向性は何か？

主な発見

• MTPフレームワークはノイズベース、アンカー条件付け、グリッドベース、様々な出力表現（例：ガウス分布、正規化フロー、DDPM）に分類される。
• MTPの評価指標は下界志向、確率志向、分布志向に分かれ、それぞれ明確な限界と課題を持つ。
• ForkingPathはMTPモデルの分布カバレッジをより良く評価するために複数のグラウンドトゥルース軌道を提供する。
• ETH/UCY、Stanford Drone、NuScenes、Argoverse、Waymoなどのデータセットが標準ベンチマークであり、モード崩壊や社会的受容を研究するための合成おもちゃデータセットが用いられる。
• 将来の方向性として、より良い指標、運動計画との統合、言語誘導型の説明可能なMTPの必要性が認識されている。

(a) DTP