[論文レビュー] ReCoG: A Deep Learning Framework with Heterogeneous Graph for Interaction-Aware Trajectory Prediction

Xiaoyu Mo, Yang Xing+1 more|arXiv (Cornell University)|Dec 9, 2020

Autonomous Vehicle Technology and Safety参考文献 11被引用数 40

ひとこと要約

ReCoGは車両–インフラの相互作用を異種グラフとしてモデル化し、RNN、CNN、およびGNNを用いて将来の車両軌跡を予測し、ADE/FDE指標でINTERACTIONデータセットにおいて最先端の結果を達成します。

ABSTRACT

Predicting the future trajectory of surrounding vehicles is essential for the navigation of autonomous vehicles in complex real-world driving scenarios. It is challenging as a vehicle's motion is affected by many factors, including its surrounding infrastructures and vehicles. In this work, we develop the ReCoG (Recurrent Convolutional and Graph Neural Networks), which is a general scheme that represents vehicle interactions with infrastructure information as a heterogeneous graph and applies graph neural networks (GNNs) to model the high-level interactions for trajectory prediction. Nodes in the graph contain corresponding features, where a vehicle node contains its sequential feature encoded using Recurrent Neural Network (RNN), and an infrastructure node contains spatial feature encoded using Convolutional Neural Network (CNN). Then the ReCoG predicts the future trajectory of the target vehicle by jointly considering all of the features. Experiments are conducted by using the INTERACTION dataset. Experimental results show that the proposed ReCoG outperforms other state-of-the-art methods in terms of different types of displacement error, validating the feasibility and effectiveness of the developed approach.

研究の動機と目的

• 複雑な環境でインフラが車両の動作に影響を与える相互作用認識型軌跡予測の動機づけ。
• 車両のダイナミクスとインフラコンテキストを共同で推論する異種グラフフレームワークの提案。
• エンコーダ（RNN、CNN、GNN）とデコーダを分離することで将来軌跡予測の拡張性を実証。

提案手法

• 車両ノードと地図ノードを用いた有向異種グラフを構築し、相互作用をモデル化。
• 車両履歴をRNNエンコーダで、地図コンテキストをCNNエンコーダで符号化。
• GNNエンコーダを適用してグラフから高レベルの相互作用特徴を抽出。
• 相互作用特徴をターゲットの逐次特徴と結合してRNNデコーダで予測ターゲット軌跡をデコード。

実験結果

リサーチクエスチョン

• RQ1 車両–インフラの相互作用を異種グラフとしてモデル化することは、車両のみのグラフより軌跡予測を改善するか？
• RQ2 異なるエンコーダの選択（RNN、CNN、GNNの派生） は予測精度と拡張性にどのように影響するか？
• RQ3 トレースバックホライズンと予測ホライズンがモデル性能に与える影響は？
• RQ4 提案された異種グラフスキームは INTERACTION データセットで最先端の相互作用認識手法を上回るか？

主な発見

方法	ADE (m) - 検証	FDE (m) - 検証	ADE (m) - テスト	FDE (m) - テスト
DESIRE	0.32	0.88	-	-
MultiPath	0.30	0.99	-	-
TNT	0.21	0.67	-	-
R	0.2527	0.9000	0.4508	1.4702
GR	0.2098	0.7202	0.3559	1.1715
ReCoG	0.1919	0.6462	0.3940	0.?255
(GH)	0.1919	0.6462	0.3940	1.2555

• 異種グラフを用いたReCoGは、複数の入力構成に対して同一グラフベースのベースラインを上回る。
• GNNにはGAT、RNNにはGRUを用いた組み合わせがテストされた中で最良の性能を発揮。
• 拡張性: エンコーダは分離されており、グラフベースのコアを再設計せずに新しいアーキテクチャへ置換可能。
• 新規性: GNN派生（GAT vs GCN）とRNN派生（GRU vs LSTM）はこの設定で注意機構を持つGNNとGRU が最も良い傾向を示す。
• INTERACTIONバリデーション/テストセットでは、ReCoGは複数のベースラインと比較してADE/FDEが最も低く、拡張学習設定を用いた手法がINTERPRET NeurIPS 2020コンペティションで優勝。