[論文レビュー] Spatially-Aware Graph Neural Networks for Relational Behavior Forecasting from Sensor Data

Sergio Casas, Cole Gulino+2 more|arXiv (Cornell University)|Oct 18, 2019

Anomaly Detection Techniques and Applications参考文献 50被引用数 52

ひとこと要約

SpAGNN は、検出されたエージェント間の相互作用をモデル化することにより、自動運転のためのオブジェクト検出と確率的・関係的モーション予測を同時に行う空間認識グラフニューラルネットワークを導入します。ATG4Dと nuScenes で最先端の結果を達成します。

ABSTRACT

In this paper, we tackle the problem of relational behavior forecasting from sensor data. Towards this goal, we propose a novel spatially-aware graph neural network (SpAGNN) that models the interactions between agents in the scene. Specifically, we exploit a convolutional neural network to detect the actors and compute their initial states. A graph neural network then iteratively updates the actor states via a message passing process. Inspired by Gaussian belief propagation, we design the messages to be spatially-transformed parameters of the output distributions from neighboring agents. Our model is fully differentiable, thus enabling end-to-end training. Importantly, our probabilistic predictions can model uncertainty at the trajectory level. We demonstrate the effectiveness of our approach by achieving significant improvements over the state-of-the-art on two real-world self-driving datasets: ATG4D and nuScenes.

研究の動機と目的

• エージェント間の相互作用をモデル化することにより、自動運転における関係的行動予測の動機づけと解決を図る。
• 知覚（検出）と社会的予測（軌道予測）を統合した、共同訓練可能なモデルを開発する。
• Gaussian belief propagation に触発された空間的に意識的な GNN を活用して、マルチエージェントの相互作用を捉える。
• 軌道レベルで不確実性を定量化する確率的軌道予測を生成する。

提案手法

• 物体検出のためのLiDARおよびHDマップからの入力と、各アクターのRoIベースの特徴抽出という2段階のアーキテクチャ。
• 検出された各アクターをノードとする、完全連結の有向相互作用グラフ。
• メッセージパッシングを展開する空間認識グラフニューラルネットワーク（SpAGNN）。メッセージは隣接フレームに合わせて空間座標で変換される。
• アクターごとの出力分布：x,y 軌道はガウス分布、進路角度はVon Mises 分布で、パラメータはGNNのメッセージパ passing によって更新される。
• 検出損失（分類とボックス回帰）と軌道予測の負の対数尤度を含むマルチタスク目的で、エンドツーエンドのトレーニング。

実験結果

リサーチクエスチョン

• RQ1 自動運転におけるマルチエージェントの相互作用をどのように効果的にモデル化して、検出と関係的モーション予測の両方を改善できるか？
• RQ2 局所座標変換を活用する空間認識GNNは、ベースラインと比べて確率的軌道予測と社会的適合性を改善するか？
• RQ3 エンドツーエンドのトレーニングは、検出から予測への誤差伝播を緩和できるか？
• RQ4 RoI整列アクター特徴と空間変換を用いることは、予測精度と不確実性モデリングにどのような影響を及ぼすか？

主な発見

• SpAGNN は ATG4D および nuScenes で、最先端のベースラインより検出と相互作用を考慮した予測を向上させる。
• 空間的に変換されたメッセージと局所座標系を組み込むことで、衝突率を低減し、複数のホライゾンでセントロイドのL2および進路角誤差を改善する。
• 回転 RoI Align ベースのアクターごとの特徴は、RoI特徴の単純なインデックスよりも優れている。
• 空間認識（グローバル/グローバル相対座標の境界ボックス）と分布出力（Gaussian + Von Mises）により、予測エントロピーが低下し、より正確な予測を生む。