[論文レビュー] Heterogeneous Edge-Enhanced Graph Attention Network For Multi-Agent Trajectory Prediction

Xiaoyu Mo, Yang Xing+1 more|arXiv (Cornell University)|Jun 14, 2021

Autonomous Vehicle Technology and Safety参考文献 35被引用数 17

ひとこと要約

本稿では、複雑な都市部および高速道路のシナリオにおける同時多エージェント軌跡予測を目的として、新規の非均質的エッジ強化型グラフアテンションネットワーク（HEAT）を備えた3チャネルフレームワークを提案する。非均質的エージェントダイナミクスのモデリング、エッジ特徴付きの有向グラフによるエージェント間相互作用の表現、共有マップ表現のためのゲート付きマップセレクタを統合することで、INTERACTIONデータセットにおいて1秒予測で0.68mのRMSE、5秒予測で2.05mのRMSEを達成し、最先端の性能を実現した。

ABSTRACT

Simultaneous trajectory prediction for multiple heterogeneous traffic participants is essential for the safe and efficient operation of connected automated vehicles under complex driving situations in the real world. The multi-agent prediction task is challenging, as the motions of traffic participants are affected by many factors, including their individual dynamics, their interactions with surrounding agents, the traffic infrastructures, and the number and modalities of the target agents. To further advance the trajectory prediction techniques, in this work we propose a three-channel framework together with a novel Heterogeneous Edge-enhanced graph ATtention network (HEAT), which is able to deal with the heterogeneity of the target agents and traffic participants involved. Specifically, the agent's dynamics are extracted from their historical states using type-specific encoders. The inter-agent interactions are represented with a directed edge-featured heterogeneous graph, and then interaction features are extracted using the proposed HEAT network. Besides, the map features are shared across all agents by introducing a selective gate mechanism. And finally, the trajectories of multi-agent are executed simultaneously. Validations using both urban and highway driving datasets show that the proposed model can realize simultaneous trajectory predictions for multiple agents under complex traffic situations, and achieve state-of-the-art performance with respect to prediction accuracy, demonstrating its feasibility and effectiveness.

研究の動機と目的

• 複雑な走行環境における、車両、歩行者、自転車など多様な非均質的交通エージェント（複数）の同時軌跡予測の課題に取り組む。
• 共通の座標系に依存する従来の手法の限界を克服する。これは、平行移動や回転に敏感であり、モデリングの柔軟性を制限する。
• エージェント種別と相互作用ダイナミクスを捉える非均質的でエッジ特徴付きの有向グラフを用いることで、エージェント間相互作用のモデリングを向上させる。
• ゲート機構を用いてエージェント間でマップ表現を効率的かつ選択的に共有することで、個々のエージェントのマップを保存せず、効率性と一般化性能を向上させる。
• 都市部および高速道路の両方の多様なシナリオにおいて高い予測精度を達成し、任意の数のエージェントと異なるモダリティを処理できる。

提案手法

• 3チャネルフレームワークを採用：1つはエージェント固有のダイナミクス（個々の座標系におけるタイプ別エンコーダーを用いて）、1つは相互作用モデリング（非均質的エッジ特徴付きグラフを介して）、1つはマップ表現（ゲートセレクタを備えたもの）。
• エージェント間相互作用を、ノードが異なる種別（例：車両、歩行者）のエージェントを表し、エッジが相対位置、速度、相互作用タイプなどの属性を持つ有向非均質的グラフとして表現する。
• ノードおよびエッジ特徴に注目する非均質的エッジ強化型グラフアテンションネットワーク（HEAT）を設計し、非均質なエージェント種別に応じたタイプに配慮したメッセージパッシングを可能にする。
• 動的かつ選択的なマップ特徴共有を可能にするゲート機構を導入し、すべてのエージェントに効率的かつ適応的にマップ情報を供給する。
• 共通の上位ビュー地図をCNNで符号化し、ゲート機構がエージェント固有の関連性に基づいてマップ入力を調整することで、冗長性を低減し、一般化性能を向上させる。
• エージェントダイナミクス、相互作用、マップ特徴の共同最適化を可能にする、複数のタスク損失を用いたエンドツーエンドの学習によりモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの手法は、多様な交通参加者（車両、歩行者、自転車）間の非均質的相互作用を、多エージェント軌跡予測において効果的にモデリングできるか？
• RQ2 個々のエージェントに個別の座標系を用いることで、動的交通環境における予測のロバストネスが、共通座標系に依存する手法と比較してどのように向上するか？
• RQ3 非均質的グラフにエッジ特徴（例：相対運動、相互作用タイプ）を組み込むことで、標準的なGATと比較して、相互作用モデリングはどの程度向上するか？
• RQ4 ゲートベースの機構を用いることで、パフォーマンスの低下や計算コストの増加を伴わずに、1つのマップ表現を複数のエージェントに効果的に共有できるか？
• RQ5 提案されたフレームワークは、多様な現実世界の走行シナリオにおいて、短期および長期の両方の軌跡予測で最先端の性能を達成できるか？

主な発見

• 提案されたHEATモデルは、INTERACTIONデータセットにおいて1秒予測で0.68mのRMSEを達成し、同じ設定でCS-LSTM（0.61m）やCNN-LSTM（0.64m）といった先行手法を上回った。
• 5秒予測の予測ホライズンでは、HEATが2.05mのRMSEを達成し、ベースラインのGATベースモデル（例：GAT-R-1では4.87m）を著しく上回り、MATF-GAN や Scale-Net といった最先端手法と同等または上回った。
• HEAT-R（共有マップとHEAT相互作用モジュールを備える）は、1秒で0.68m、5秒で2.05mのRMSEを達成し、さまざまなエージェント数や種別にわたるロバストネスとスケーラビリティを示した。
• アブレーションスタディの結果、HEAT-1（HEATを搭載）は1秒で0.6590mのRMSEを達成し、GAT-1（0.7808m）やGAT-R-1（0.8228m）を顕著に上回り、提案された相互作用モデリング手法の優位性を裏付けた。
• ゲート付きマップセレクタは、個々のエージェントのマップ保存や単純なグローバル共有と比較して、効果的なマップ共有を可能にし、一般化性能の向上と計算オーバーヘッドの低減を実現した。
• 可視化結果から、HEATは合流、交差、高密度交通など複雑なシナリオにおいても、複数の非均質的エージェントの軌跡を正確に予測できることを確認した。