[論文レビュー] Spatio-Temporal Look-Ahead Trajectory Prediction using Memory Neural Network

N.J. Rao, Suresh Sundaram|arXiv (Cornell University)|Feb 24, 2021

Autonomous Vehicle Technology and Safety参考文献 46被引用数 5

ひとこと要約

本稿では、長期間の依存関係をLSTM や GRU よりも効率的にモデル化できる再帰的メモリユニットを活用して、交通エージェントの空間的・時間的軌道予測のための新規メモリニューロンネットワーク（MNN）を提案する。MNN は 5 秒予測時間軸で SOTA メソッド比 20% 低い RMSE を達成し、悪意ある車両を含む CARLA シミュレーションにおいてもリアルタイムでの頑健性を示した。

ABSTRACT

Prognostication of vehicle trajectories in unknown environments is intrinsically a challenging and difficult problem to solve. The behavior of such vehicles is highly influenced by surrounding traffic, road conditions, and rogue participants present in the environment. Moreover, the presence of pedestrians, traffic lights, stop signs, etc., makes it much harder to infer the behavior of various traffic agents. This paper attempts to solve the problem of Spatio-temporal look-ahead trajectory prediction using a novel recurrent neural network called the Memory Neuron Network. The Memory Neuron Network (MNN) attempts to capture the input-output relationship between the past positions and the future positions of the traffic agents. The proposed model is computationally less intensive and has a simple architecture as compared to other deep learning models that utilize LSTMs and GRUs. It is then evaluated on the publicly available NGSIM dataset and its performance is compared with several state-of-art algorithms. Additionally, the performance is also evaluated on a custom synthetic dataset generated from the CARLA simulator. It is seen that the proposed model outperforms the existing state-of-art algorithms. Finally, the model is integrated with the CARLA simulator to test its robustness in real-time traffic scenarios.

研究の動機と目的

• 複雑で予測不能な交通環境において、高い精度と低い計算コストで車両の軌道を予測する課題に対処すること。
• LSTM や GRU を用いたモデルの代替として、軽量で計算効率の高い軌道予測用の代替手法を開発すること。
• 実世界の NGSIM データと悪意あるエージェントを含む合成データを用いて、極端なシナリオにおける頑健性を評価すること。
• CARLA シミュレータを用いた動的交通シミュレーションにおいて、リアルタイムでのデプロイ能力を検証すること。

提案手法

• メモリニューロンネットワーク（MNN）は、各ニューロンが時間情報を複数層にわたって保持するメモリ要素を内蔵する新規の再帰的ニューラルネットワークである。
• MNN は、過去の軌道シーケンスと将来の予測の間の入出力関係を、エンド・ツー・エンド学習によってモデル化する。
• ネットワークは、過去の位置のシーケンスに対して平均二乗誤差（MSE）損失関数を用いて学習され、将来の位置を予測する。
• モデルは NGSIM US-101 データセットおよび、CARLA シミュレータから生成された異種の悪意あるエージェントを含むカスタム合成データセットで評価された。
• リアルタイムでのデプロイは、C++ API を用いて各悪意ある車両の軌道プランナにトレーニング済みの MNN を統合することで達成された。
• MNN のグローバル再帰構造により、前層のすべてのニューロンにわたる依存関係を捉えることができ、長期記憶の保持が向上する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型の再帰的ネットワークは、計算コストを低く抑えつつ、従来のディープラーニングモデルを上回る空間的・時間的軌道予測性能を示せるか？
• RQ2 MNN は、実世界の交通データ（NGSIM）において、SOTA メソッドと比較してどの程度の性能を示すか？
• RQ3 MNN は、シミュレーションにおける悪意ある車両のような予測不能で高リスクの行動にも一般化可能か？
• RQ4 混合車両タイプが存在する大規模なリアルタイム交通シミュレーションにおいて、モデルの性能はいかがであるか？

主な発見

• MNN は、NGSIM データセットにおける最良のベースラインと比較して、1 秒予測時間軸で RMSE に 35% の改善、5 秒予測時間軸で 20% の改善を達成した。
• 他のモデルと比較して、1 秒から 5 秒の予測時間軸にかけて RMSE の上昇がより緩やかであることが示され、モデルの安定性が高まっていることが裏付けられた。
• 100台の車両（うち 20% が悪意ある車両）を含む CARLA シミュレーションにおいて、MNN は直線走行路において最小限の誤差でリアルタイムで将来の軌道を予測できた。
• 交差点での左折行動では誤差が高くなる傾向を示したが、これはマップに依存する特徴が欠落しているためであり、それでも正しい軌道構造を保持していた。
• MNN の軽量なアーキテクチャにより、シミュレーション内すべての悪意ある車両にリアルタイムでデプロイ可能であり、計算効率の高さが裏付けられた。
• LSTM とは異なり、MNN はローカルな再帰ではなくグローバルな再帰構造を採用しており、ネットワーク全体にわたる長期依存関係のモデル化能力が向上している。