[論文レビュー] Wayformer: Motion Forecasting via Simple & Efficient Attention Networks

Nigamaa Nayakanti, Rami Al‐Rfou+4 more|arXiv (Cornell University)|Jul 12, 2022

Autonomous Vehicle Technology and Safety被引用数 6

ひとこと要約

Wayformerは、1つのTransformerエンコーダーを用いて、初期融合により複数モodal入力（例：エージェントの軌跡、地図構造、信号機）を統合する単純で均質的なアテンションベースのアーキテクチャを提案する。その後にクロスアテンションデコーダーを適用する。因子化または潜在的クエリアテンションを用いることで、最小限のアーキテクチャ的複雑性と効率的な計算で、Waymo Open Motion DatasetおよびArgoverseのリーダーボードで最先端の性能を達成する。

ABSTRACT

Motion forecasting for autonomous driving is a challenging task because complex driving scenarios result in a heterogeneous mix of static and dynamic inputs. It is an open problem how best to represent and fuse information about road geometry, lane connectivity, time-varying traffic light state, and history of a dynamic set of agents and their interactions into an effective encoding. To model this diverse set of input features, many approaches proposed to design an equally complex system with a diverse set of modality specific modules. This results in systems that are difficult to scale, extend, or tune in rigorous ways to trade off quality and efficiency. In this paper, we present Wayformer, a family of attention based architectures for motion forecasting that are simple and homogeneous. Wayformer offers a compact model description consisting of an attention based scene encoder and a decoder. In the scene encoder we study the choice of early, late and hierarchical fusion of the input modalities. For each fusion type we explore strategies to tradeoff efficiency and quality via factorized attention or latent query attention. We show that early fusion, despite its simplicity of construction, is not only modality agnostic but also achieves state-of-the-art results on both Waymo Open MotionDataset (WOMD) and Argoverse leaderboards, demonstrating the effectiveness of our design philosophy

研究の動機と目的

• エージェントの軌跡、道路の幾何構造、信号機の状態といった異種のマルチモーダル入力を統合的に扱えるスケーラブルな運動予測モデルを構築すること。
• モダリティ固有のエンコーダーを避けることで、アーキテクチャの複雑性を低減し、均質なアテンションベースの設計を採用すること。
• 因子化アテンションや潜在的クエリアテンションといった技術を用いて、効率性と精度のトレードオフを改善すること。
• 最小限の、モダリティに依存しない設計が、複雑な手作業で設計されたアーキテクチャを上回ることを示すこと。

提案手法

• モデルは、複数の入力モダリティ（エージェントの履歴、地図、信号機、相互作用）を処理パイプラインの初期段階で統合する自己アテンションエンコーダーを用いる。
• 3つの統合戦略を検討：初期統合（アテンションの前にすべてのモダリティを連結）、後期統合（モダリティ固有のエンコーダーを経て後期に連結）、階層的統合（モダリティ固有のエンコーダーと中間統合を組み合わせる）。
• 計算コストを低減するために、空間的および時間的次元を別々にアテンションすることで因子化アテンションを適用する。
• 入力シーケンス長からクエリ数を分離することで、固定解像度の出力で効率的な推論を可能にする潜在的クエリアテンションを用いる。
• クロスアテンションデコーダーは、エンコードされたシーン表現にアテンションすることで、多様でマルチモーダルな将来の軌跡分布を生成する。
• 全アーキテクチャは、多様な将来の結果をモデル化するマルチモーダルな軌跡予測ヘッドを用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 単純で均質的なアテンションベースのアーキテクチャは、複雑でモダリティ固有の設計を上回る性能を発揮できるか？
• RQ2 マルチモーダル入力の初期統合は、後期統合や階層的統合と比較して、より高い性能と効率性をもたらすか？
• RQ3 因子化アテンションと潜在的クエリアテンションは、精度を損なわずに計算コストを著しく低減できるか？
• RQ4 モダリティに依存しない設計は、Waymo や Argoverse といった多様なベンチマークで最先端の結果を達成できるか？
• RQ5 独立したエージェントモデル化といった簡素化仮定は、相互作用の複雑なドライブシナリオにおける性能にどの程度制限を及えるか？

主な発見

• Wayformerは、Waymo Open Motion Dataset (WOMD) で、より単純なアーキテクチャで先行手法を上回る最先端の性能を達成した。
• モデルはArgoverseの運動予測リーダーボードでも最先端の結果を達成し、異なるベンチマークへの強い汎化能力を示した。
• すべての入力モダリティを初期統合することで最高の性能が得られ、初期統合がより豊かな文脈的情報を保持していることを示している。
• 因子化アテンションと潜在的クエリアテンションは、高い精度を維持しながら推論遅延を顕著に低減し、リアルタイムデプロイメントを可能にした。
• モデルの性能は、エージェント密度の高い複雑な都市環境を含む、多様なドライブシナリオにおいても安定している。
• アブレーションスタディにより、最小限のアーキテクチャ的仮定に基づくモダリティに依存しない設計が、優れた効率性と精度のトレードオフを実現していることが確認された。