[論文レビュー] Multimodal Motion Prediction with Stacked Transformers

Yicheng Liu, Jinghuai Zhang+3 more|arXiv (Cornell University)|Mar 22, 2021

Autonomous Vehicle Technology and Safety参考文献 36被引用数 21

ひとこと要約

本論文では、固定された軌跡提案と領域ベースの学習戦略を用いて多様性と正確性を向上させる、スタックド・トランスフォーマーに基づくマルチモーダル・モーション予測用のmmTransformerを提案する。階層的アテンションによる提案の最適化と、各提案が空間的領域に特化するように学習させることで、Argoverseベンチマークにおいて、過去の手法を上回る、トラジェクトリの正確性とモードカバレッジの両面で最先端の性能を達成した。

ABSTRACT

Predicting multiple plausible future trajectories of the nearby vehicles is crucial for the safety of autonomous driving. Recent motion prediction approaches attempt to achieve such multimodal motion prediction by implicitly regularizing the feature or explicitly generating multiple candidate proposals. However, it remains challenging since the latent features may concentrate on the most frequent mode of the data while the proposal-based methods depend largely on the prior knowledge to generate and select the proposals. In this work, we propose a novel transformer framework for multimodal motion prediction, termed as mmTransformer. A novel network architecture based on stacked transformers is designed to model the multimodality at feature level with a set of fixed independent proposals. A region-based training strategy is then developed to induce the multimodality of the generated proposals. Experiments on Argoverse dataset show that the proposed model achieves the state-of-the-art performance on motion prediction, substantially improving the diversity and the accuracy of the predicted trajectories. Demo video and code are available at https://decisionforce.github.io/mmTransformer.

研究の動機と目的

• データ不足と不確実性の下で、自動運転における複数の妥当な将来のトラジェクトリを学習する課題に対処すること。
• 確率的および提案ベースの手法に見られる限界、例えばモードの崩壊やヒューリスティックなアンカーデータに依存することを克服すること。
• 事前定義された事前分布に依存せずに、特徴レベルでマルチモーダル性を明示的にモデル化するディープラーニングフレームワークを設計すること。
• トレーニング中に領域固有の学習を強制することで、各予測提案が別々のモードに特化することを保証すること。

提案手法

• モデルは、過去のトラジェクトリ、レーン構造、社会的相互作用からの文脈特徴を段階的に統合するために、複数のエンコーダ・デコーダモジュールを備えたスタックド・トランスフォーマー・アーキテクチャを採用する。
• トラジェクトリ提案はランダムに初期化され、マルチヘッド自己アテンションおよびクロスアテンション機構を介して最適化され、多様な予測が生成される。
• 領域ベースのトレーニング戦略（RTS）は、周囲空間をM個の領域に分割し、各提案を1つの領域に割り当て、トレーニング中は真値領域内の提案のみを最適化する。
• 各提案はフィードフォワードネットワークを介して信頼度スコアと関連付けられ、正しい領域内の提案に高いスコアを付けるよう分類損失が適用される。
• モデルは空間的位置エンコーディングとXavier初期化を用い、水平反転と初期トラジェクトリステップのマスキングによるデータオーグメンテーションも実施する。
• 推論時、非最大抑制（NMS）が信頼度スコアとIoU閾値に基づいて重複するトラジェクトリをフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 固定され、相互に独立したトラジェクトリ提案から学習することで、トランスフォーマー基盤のアーキテクチャがマルチモーダル・モーション予測を効果的にモデル化できるか？
• RQ2 1シーンにつき1つの真値しか存在しない状況でも、各提案が異なるモードを学習するようにトレーニング戦略を設計できるか？
• RQ3 標準的なトレーニングパラダイムと比較して、領域ベースのトレーニングは予測トラジェクトリの多様性と正確性を向上させるか？
• RQ4 スタックド・トランスフォーマーは、複雑なドライブシーンにおける長距離依存性と文脈的相互作用を効果的に捉えることができるか？
• RQ5 提案手法は、実世界のベンチマークにおいて、既存の確率的および提案ベースの手法をどの程度上回るか？

主な発見

• 2020年11月16日現在、提案されたmmTransformerはArgoverseモーション予測リーダーボードで1位を達成し、最先端の性能を示した。
• 領域ベースのトレーニング戦略はモードカバレッジを顕著に向上させ、M=N=6の場合に85.3％の予測が正しい領域内に収束した。
• MR行列の対角成分における最小の欠落率が12.1％にまで低下し、各提案が割り当てられた領域に強く特化していることが示された。
• アブレーションスタディの結果、領域ベースのトレーニング戦略は標準的なトレーニングに比べて平均位置ずれ誤差を12.4％改善した。
• 強固な特徴統合と提案の特化により、複雑な交差点や高密度交通状況を含む多様なシナリオにおいても、高い性能を維持した。