[論文レビュー] S2TNet: Spatio-Temporal Transformer Networks for Trajectory Prediction in Autonomous Driving

Weihuang Chen, Fangfang Wang+1 more|arXiv (Cornell University)|Jun 22, 2022

Autonomous Vehicle Technology and Safety被引用数 13

ひとこと要約

S2TNetは、自己注意メカニズムを用いて、すべての交通参加者間の長距離空間的相互作用と時間的依存関係をモデル化する空間時系列変換器ネットワークを提案する。この手法は、アポロスケープデータセットにおいて、カテゴリ、形状、進行方向特徴を統合することにより、異種交通参加者を扱うことで、WSFDEで7.2%、WSFDEで7.7%の優位性を示し、最先端の性能を達成した。

ABSTRACT

To safely and rationally participate in dense and heterogeneous traffic, autonomous vehicles require to sufficiently analyze the motion patterns of surrounding traffic-agents and accurately predict their future trajectories. This is challenging because the trajectories of traffic-agents are not only influenced by the traffic-agents themselves but also by spatial interaction with each other. Previous methods usually rely on the sequential step-by-step processing of Long Short-Term Memory networks (LSTMs) and merely extract the interactions between spatial neighbors for single type traffic-agents. We propose the Spatio-Temporal Transformer Networks (S2TNet), which models the spatio-temporal interactions by spatio-temporal Transformer and deals with the temporel sequences by temporal Transformer. We input additional category, shape and heading information into our networks to handle the heterogeneity of traffic-agents. The proposed methods outperforms state-of-the-art methods on ApolloScape Trajectory dataset by more than 7\% on both the weighted sum of Average and Final Displacement Error. Our code is available at https://github.com/chenghuang66/s2tnet.

研究の動機と目的

• LSTMベースの手法が異種交通参加者間の複雑な空間時系列的相互作用をモデル化する際の限界を解決すること。
• 従来の手法が空間的近隣参加者のみに注目する制限を克服し、すべての参加者をカバーする長距離空間的依存関係を捉えること。
• 混合交通参加者が存在する混雑した動的都市環境における長期的軌道予測の精度を向上させること。
• カテゴリ、形状、進行方向といったマルチモーダル特徴を統合し、交通参加者の多様性をよりよく表現すること。
• 新規な変換器ベースアーキテクチャを用いて、アポロスケープ軌道データセットで最先端の性能を達成すること。

提案手法

• 空間時系列変換器は、空間的自己注意メカニズムを用いて、空間的近隣に限らずすべての交通参加者間の相互作用をモデル化し、長距離空間的依存関係を捉える。
• 時間的畳み込みネットワーク（TCN）は、空間特徴と融合される前に、順序付き軌道から時間的特徴を抽出する。
• 変換器デコーダー内の時間的自己注意メカニズムは、時間的表現を精緻化し、自己回帰的に将来的な軌道を生成する。
• モデルは、カテゴリ、形状、進行方向、グローバル座標といった追加特徴を統合し、異種交通参加者の表現を効果的に実現する。
• マスクされた自己注意メカニズムを用いて空間的制限の影響を評価し、全シーンの注目が性能向上に寄与することを示した。
• 時間的変換器の前駆動ネットワークに分離畳み込みを用いることで、アブレーションスタディにおいて全結合層を上回る性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースアーキテクチャは、直近の近隣を越えて異種交通参加者間の長距離空間的相互作用を効果的にモデル化できるか？
• RQ2 時間的自己注意の統合は、再帰的または畳み込みモデルと比較して、長期的軌道予測をどの程度向上させるか？
• RQ3 追加の参加者固有特徴（カテゴリ、形状、進行方向）の統合が、異種交通環境における予測精度にどの程度寄与するか？
• RQ4 空間的注目を局所的な空間窓（例：15m）に制限するのではなく、全シーンを対象とすることで、より良い結果が得られるか？
• RQ5 実世界の混雑した都市部の軌道予測ベンチマークにおいて、提案された空間時系列変換器アーキテクチャは、既存の最先端手法と比較してどの程度優れているか？

主な発見

• S2TNetは、前回の最先端手法GRIP++と比較して、重み付き最終移動誤差（WSFDE）で相対的に7.2%の向上を達成した。
• モデルは、アポロスケープ軌道データセットにおける重み付き平均移動誤差（WSADE）を7.7%削減し、優れた一般化性能を示した。
• アブレーションスタディにより、空間的および時間的自己注意サブレイヤーを併用した完全な空間時系列変換器が最良の性能を示した。
• 時間的変換器エンコーダーを除去すると、性能が著しく低下し、長期的時間的依存関係を捉える上でその重要性が示された。
• 時間的変換器の前駆動ネットワークに分離畳み込みを用いることで、WSADEが0.025向上した。
• 座標情報だけでなく、カテゴリ、形状、進行方向を含む完全な参加者特徴を統合することで、予測精度が向上し、多様性のモデル化の重要性が浮き彫りになった。