[論文レビュー] Multi-modal Motion Prediction with Transformer-based Neural Network for Autonomous Driving

Zhiyu Huang, Xiaoyu Mo+1 more|arXiv (Cornell University)|Sep 14, 2021

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文は、マルチモーダルアテンションを用いて多様なエージェント・マップ相互作用を捉える、トランスフォーマーに基づく動き予測モデルを提案する。各トラジェクトリごとにマルチヘッドアテンションを独立したアテンションモードに変更することで、コンactで解釈可能なアーキテクチャを実現し、Argoverseベンチマークで最先端の精度を達成した。

ABSTRACT

Predicting the behaviors of other agents on the road is critical for autonomous driving to ensure safety and efficiency. However, the challenging part is how to represent the social interactions between agents and output different possible trajectories with interpretability. In this paper, we introduce a neural prediction framework based on the Transformer structure to model the relationship among the interacting agents and extract the attention of the target agent on the map waypoints. Specifically, we organize the interacting agents into a graph and utilize the multi-head attention Transformer encoder to extract the relations between them. To address the multi-modality of motion prediction, we propose a multi-modal attention Transformer encoder, which modifies the multi-head attention mechanism to multi-modal attention, and each predicted trajectory is conditioned on an independent attention mode. The proposed model is validated on the Argoverse motion forecasting dataset and shows state-of-the-art prediction accuracy while maintaining a small model size and a simple training process. We also demonstrate that the multi-modal attention module can automatically identify different modes of the target agent's attention on the map, which improves the interpretability of the model.

研究の動機と目的

• 動的交通環境下での自動運転車両と周囲のエージェント間の複雑でマルチモーダルな相互作用をモデル化する課題に対処すること。
• 特に複数の行動的意図を伴う状況において、ターゲットエージェントが異なるマップウェイポイントに注目するように明示的にモデル化することで、トラジェクトリ予測精度を向上させること。
• アテンション機構が自動的に異なるマップセグメント（例：左折レーン、直進レーン）を特定し、それらに条件づけることで、モデルの解釈可能性を向上させること。
• 最小限のトレーニング複雑性を維持しながらも、実世界のドライブデータで高いパフォーマンスを発揮する、軽量で効率的なアーキテクチャを開発すること。
• マップ表現（レーン vs. ウェイポイント）およびアテンション機構設計が予測性能と解釈可能性に与える影響を調査すること。

提案手法

• 高解像度のマップ表現を実現するため、各レーンを空間的ウェイポイントのシーケンスとしてエンコードするウェイポイントベースのベクトルマップを用いて、ドライブシーンを表現する。
• エージェント間の相互作用をグラフベースの構造でモデル化し、各エージェントをターゲットエージェントに接続するノードとして扱い、関係性特徴を抽出するためにマルチヘッド自己アテンショントランスフォーマー・エンコーダーを適用する。
• 標準的なマルチヘッドアテンションを置き換える、新規のマルチモーダルアテンション機構を導入し、各アテンションヘッドを個別のモードとして扱い、それぞれが別々の予測トラジェクトリを生成するようにする。
• 予測モード間の多様性を保つために、真値に最も近いトラジェクトリを生成するアテンションヘッドのみを更新する損失関数を用いてモデルをトレーニングする。
• 時間的・空間的整合性を確保するため、共有位置エンコーディングを用いて、1つはエージェント同士の相互作用モデリング用、もう1つはエージェント・マップアテンション用の2つのクロスアテンショントランスフォーマー層を適用する。
• 最終的なマルチモーダルアテンション層の隠れ状態から未来のトラジェクトリを生成するため、単純なトラジェクトリデコーダーヘッドを適用する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくアーキテクチャにおいて、標準的なマルチヘッドアテンションと比較して、修正されたマルチモーダルアテンション機構がマルチモーダル動き予測の精度を向上させるか？
• RQ2 ウェイポイントレベルのマップ表現は、レーンレベルの表現と比較して、予測精度と情報保持度においてどのように異なるか？
• RQ3 個々のアテンションヘッドのアテンションスコアが、異なる予測行動に対応して特定のマップセグメント（例：左折レーン）に注目していると解釈できる程度はどの程度か？
• RQ4 提案手法は、既存の最先端モデルと比較して、より単純なトレーニングプロセスと小型なモデルサイズで競争力のあるパフォーマンスを達成できるか？
• RQ5 提案されたマルチモーダルアテンション機構は、複雑な都市部ドライブシナリオにおける予測トラジェクトリの多様性と正しさにどのように寄与するか？

主な発見

• 比較手法すべての中で、Argoverseテストセットにおいて最小の minADE (0.8372 m) と minFDE (1.2905 m) を達成し、優れたトラジェクトリ予測精度を示した。
• 解釈可能性が向上した：可視化の結果、アテンションヘッドが自然に関連するマップウェイポイント（例：左折予測時には左折レーン）に注目していることが確認され、モデルが意味のある行動的意図を学習していることが裏付けられた。
• ウェイポイントレベルのマップ表現を用いることで、レーンレベル表現よりも高いパフォーマンスが得られ、情報損失が低減され、マップ特徴の解像度が向上した。
• マルチモーダルアテンション機構は、アンサンブルベースのマルチモーダル予測手法（minADE: 0.8372 vs. 0.8512）を著しく上回り、多様な行動をモデル化する有効性が示された。
• 最先端の精度を達成しながらも、モデルは小型であり、トレーニングプロセスも単純で、2つのクロスアテンショントランスフォーマー層のみで構成されており、高速な推論と容易なデプロイメントを可能にした。
• モデルの brier-minFDE (1.9393) とミスレート (0.1429) は HOME [24] よりわずかに悪いが、これは損失関数がミスレート最適化のために調整されていないためであり、アーキテクチャ自体の根本的限界ではない。