[論文レビュー] Spectral Temporal Graph Neural Network for Trajectory Prediction

Defu Cao, Jiachen Li+2 more|arXiv (Cornell University)|Jun 5, 2021

Autonomous Vehicle Technology and Safety参考文献 43被引用数 4

ひとこと要約

本論文では、時間領域および周波数領域の両方で空間的・時間的依存関係を統合的にモデル化する新しいフレームワーク、Spectral Temporal Graph Neural Network (SpecTGNN) を提案する。エージェントおよび環境のグラフにグラフ・フーリエ変換、スペクトル・グラフ畳み込み、時間的ゲート付き畳み込みを統合することで、SDD および nuScenes データセットにおいて最先端の性能を達成し、SOTAベースラインと比較して minFDE を 8.1% 減少させた。

ABSTRACT

An effective understanding of the contextual environment and accurate motion forecasting of surrounding agents is crucial for the development of autonomous vehicles and social mobile robots. This task is challenging since the behavior of an autonomous agent is not only affected by its own intention, but also by the static environment and surrounding dynamically interacting agents. Previous works focused on utilizing the spatial and temporal information in time domain while not sufficiently taking advantage of the cues in frequency domain. To this end, we propose a Spectral Temporal Graph Neural Network (SpecTGNN), which can capture inter-agent correlations and temporal dependency simultaneously in frequency domain in addition to time domain. SpecTGNN operates on both an agent graph with dynamic state information and an environment graph with the features extracted from context images in two streams. The model integrates graph Fourier transform, spectral graph convolution and temporal gated convolution to encode history information and forecast future trajectories. Moreover, we incorporate a multi-head spatio-temporal attention mechanism to mitigate the effect of error propagation in a long time horizon. We demonstrate the performance of SpecTGNN on two public trajectory prediction benchmark datasets, which achieves state-of-the-art performance in terms of prediction accuracy.

研究の動機と目的

• 自動運転やロボット工学で一般的な複雑で相互作用的な環境における長期トラジェクトリ予測の正確性を向上させること。
• 従来の手法が時間領域のダイナミクスにのみ注目するという制限を克服し、周波数ドメイン表現を組み込むこと。
• スペクトル・グラフ畳み込みを用いて、エージェント間の相互作用と環境的文脈を二重のグラフ（エージェントおよび環境）でモデル化すること。
• マルチヘッド空間的時間的アテンションメカニズムを用いて、長時間予測における誤差伝搬を低減すること。
• グラフニューラルネットワークにおける周波数ドメインモデリングの有効性を実証すること。

提案手法

• SpecTGNN は二重グラフアーキテクチャを採用：エージェントグラフは動的状態特徴を、環境グラフは CNN で抽出された画像特徴を用いる。
• 時間的トラジェクトリを周波数表現に変換するため、グラフ・フーリエ変換（GFT）を適用し、よりコンactかつ情報豊富なスペクトルモデリングを実現する。
• エージェントおよび環境グラフの両方で、新規の SpecTGNN ユニットがスペクトル・グラフ畳み込みを実行し、エージェント間およびシーンレベルの相関を捉える。
• 時間領域の逐次的依存関係をモデル化するため、時間的ゲート付き畳み込み（TCNN）を用い、周波数ドメイン学習を補完する。
• マルチヘッド空間的時間的アテンションメカニズムにより、時間ステップごとにエージェントの重要性を動的に重み付けし、誤差伝搬を抑制する。
• 環境グラフのラプラシアンは画像特徴から構築され、文脈的な空間的構造に対するスペクトル畳み込みを可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間領域でのダイナミクスモデリングに加えて周波数ドメインでのモデリングを組み込むことで、時間領域のみのアプローチと比較してトラジェクトリ予測の正確性が向上するか？
• RQ2 スペクトル・グラフ畳み込みは、マルチエージェント相互作用における長距離空間的依存関係を効果的に捉えられるか？
• RQ3 学習された環境グラフを通じて環境的文脈を統合することで、予測性能が向上するか？
• RQ4 マルチヘッド空間的時間的アテンションメカニズムは、長時間予測における誤差蓄積をどの程度低減できるか？
• RQ5 周波数ドメイン表現は、時間領域モデリングと補完的ないくらかの情報を提供できるか？

主な発見

• SpecTGNN は、SDD および nuScenes ベンチマークデータセットの両方で最先端の性能を達成し、以前の SOTA モデルを上回った。
• nuScenes データセットにおいて、SpecTGNN は SOTA ベースラインである STGAT と比較して minFDE を 8.1% 減少させた。
• アブレーションスタディの結果、すべての構成要素（TGConv、STAtt、画像特徴）が不可欠であることが確認され、画像入力によりベースモデルと比較して minADE が 11.2%、minFDE が 9.6% 減少した。
• 予測サンプル数（K）が増加するにつれて性能が一貫して向上し、仮説集合全体にわたるロバストネスと一般化性能が示された。
• 定性的な結果から、SpecTGNN は複雑なシーンにおける旋回、停止、レーンキープ、方向転換などの多様な行動を正確に予測できていることが分かった。