[論文レビュー] Motion Transformer with Global Intention Localization and Local Movement Refinement

Shaoshuai Shi, Li Jiang+2 more|arXiv (Cornell University)|Sep 27, 2022

Autonomous Vehicle Technology and Safety被引用数 74

ひとこと要約

本論文は Motion TRansformer (MTR) を提案する。トランスフォーマーをベースとしたマルチモーダル動作予測フレームワークで、少数の学習可能な動作クエリペアを用いてグローバルな意図を局在化し、局所的な動作を refine する。dense な目標候補なしで Waymo Open Motion Dataset で最先端の結果を達成。

ABSTRACT

Predicting multimodal future behavior of traffic participants is essential for robotic vehicles to make safe decisions. Existing works explore to directly predict future trajectories based on latent features or utilize dense goal candidates to identify agent's destinations, where the former strategy converges slowly since all motion modes are derived from the same feature while the latter strategy has efficiency issue since its performance highly relies on the density of goal candidates. In this paper, we propose Motion TRansformer (MTR) framework that models motion prediction as the joint optimization of global intention localization and local movement refinement. Instead of using goal candidates, MTR incorporates spatial intention priors by adopting a small set of learnable motion query pairs. Each motion query pair takes charge of trajectory prediction and refinement for a specific motion mode, which stabilizes the training process and facilitates better multimodal predictions. Experiments show that MTR achieves state-of-the-art performance on both the marginal and joint motion prediction challenges, ranking 1st on the leaderboards of Waymo Open Motion Dataset. The source code is available at https://github.com/sshaoshuai/MTR.

研究の動機と目的

• 自家用車の自動運転におけるロバストなマルチモーダル動作予測を、dense な目標候補と遅い収束を回避する形で動機づける。
• グローバルな意図の局在化と局所的な動作の refinement をモーション クエリ ペアを介して統一的に結合するフレームワークを提案する。
• 補助的な dense future prediction タスクを取り入れて、将来の相互作用コンテキストを豊かにする。
• WOMD の marginal および joint motion prediction ベンチマークにおいて最先端の性能を示す。

提案手法

• global な局在と局所的 refinement のために静的な意図クエリと動的な検索クエリからなる motion query pairs を導入する。
• エージェントの履歴と道路地図からのシーンコンテキストをエンコードするために局所自己注意を持つトランスフォーマー・エンコーダを使用する。
• 補助タスクとして dense future prediction を用い、全エージェントの将来の軌道と速度を予測して追加のコンテキストとする。
• モーションモードごとに軌道と一致する地図特徴を収集するダイナミックマップ収集モジュールを実装する。
• 多様な将来分布を表現する Gaussian Mixture Model ヘッドを適用し、学習時には hard assignment を用いる。
• デコーダ層全体で補助的な L1 ロスと negative log-likelihood ロスを用いて End-to-end 学習を行う。）

実験結果

リサーチクエスチョン

• RQ1 dense な目標候補なしで、学習可能なモーション クエリペアの小さな集合はマルチモーダルな将来動作を効果的にカバーできるか？
• RQ2 グローバルな意図の局在化と局所的な動作の refinement は予測の安定性と精度を向上させるか？
• RQ3 dense future prediction タスクを取り入れるとシーン整合的な軌道生成は改善されるか？
• RQ4 エンコーダの局所自己注意は大規模地図コンテキストでの文脈モデリングとメモリ効率にどう影響するか？

主な発見

Method	MinADE	MinFDE	Miss Rate	mAP
MTR (Ours) Test	0.6050	1.2207	0.1351	0.4129
MTR (Ours) Val	0.6046	1.2251	0.1366	0.4164
MTR-Advanced-ens (Ours) Test	0.5640	1.1344	0.1160	0.4492
MTR-Advanced-ens (Ours) Val	0.5597	1.1299	0.1167	0.4551

• MTR は WOMD の marginal motion prediction で最先端の性能を達成し、 ensemble-free baseline に対して mAP の顕著な改善を示す。
• MTR は joint motion prediction ベンチマークでも従来手法を上回り、より高い mAP と低い Miss Rate を達成する。
• 静的意図クエリと意図ポイントは latent 学習可能埋め込みに比べて顕著な mAP 改善をもたらし、モード特異的なクエリの利点を強調する。
• dense future prediction モジュールは将来の軌道間の相互作用を捉えることで軌道品質を大幅に向上させる。
• 局所自己注意は大規模地図コンテキストを用いる場合、グローバル注意よりも性能とメモリ効率を向上させる。
• エンセmbles 変種と end-to-end の MTR-e2e は高い性能を示し、MTR-Advanced-ens はテストセットでトップランキングを達成する。