[論文レビュー] Predicting Future Lane Changes of Other Highway Vehicles using RNN-based Deep Models

Sajan Patel, Brent Griffin+2 more|arXiv (Cornell University)|Jan 12, 2018

Traffic Prediction and Management Techniques参考文献 18被引用数 30

ひとこと要約

本論文では、1秒間のLIDAR、GPS、慣性、地図データを用いて、周囲の高速道路車両の将来の車線変更を最大3秒先まで予測する、複合構造的再帰ニューラルネットワーク（SRNN）を提案する。このモデルは、単一LSTMおよび単一要因SRNNベースラインと比較して、バランス精度で最大12%の向上を示し、センサ故障下でも自律走行車両の緊急操作における意味的行動予測の透明性と信頼性が向上する。

ABSTRACT

In the event of sensor failure, autonomous vehicles need to safely execute emergency maneuvers while avoiding other vehicles on the road. To accomplish this, the sensor-failed vehicle must predict the future semantic behaviors of other drivers, such as lane changes, as well as their future trajectories given a recent window of past sensor observations. We address the first issue of semantic behavior prediction in this paper, which is a precursor to trajectory prediction, by introducing a framework that leverages the power of recurrent neural networks (RNNs) and graphical models. Our goal is to predict the future categorical driving intent, for lane changes, of neighboring vehicles up to three seconds into the future given as little as a one-second window of past LIDAR, GPS, inertial, and map data. We collect real-world data containing over 20 hours of highway driving using an autonomous Toyota vehicle. We propose a composite RNN model by adopting the methodology of Structural Recurrent Neural Networks (RNNs) to learn factor functions and take advantage of both the high-level structure of graphical models and the sequence modeling power of RNNs, which we expect to afford more transparent modeling and activity than opaque, single RNN models. To demonstrate our approach, we validate our model using authentic interstate highway driving to predict the future lane change maneuvers of other vehicles neighboring our autonomous vehicle. We find that our composite Structural RNN outperforms baselines by as much as 12% in balanced accuracy metrics.

研究の動機と目的

• センサ故障下でも自律走行車両が周囲の車両の将来の車線変更を予測し、安全な緊急操作を可能にする。
• 最小限の過去のセンサ観測（1〜5秒）を用いて、特に車線変更を含む意味的ドライブ行動を予測する課題に取り組む。
• グラフィカルモデルの解釈可能性とRNNの時系列モデリング能力を統合し、強固な行動予測を実現する。
• 実高速道路環境における外部車両の行動予測のための透明性・スケーラビリティ・信頼性に優れたフレームワークを開発する。

提案手法

• 著者らは、自車両と周囲の外部車両間の空間的・時間的依存関係を表現する、車線ベースのグラフィカルモデルを設計した。
• このグラフィカルモデルを、要因グラフに従って構造化された構造的RNN（SRNN）に変換し、非線形要因関数およびノード関数を学習する。
• SRNNは、LIDAR、GPS、慣性センサ、高精度地図を搭載した自律走行トヨタ車両から収集した実世界データを用いて、エンドツーエンドで訓練された。
• モデルはセンサ入力（LIDAR、GPS、慣性、地図データ）の時系列を処理し、周囲の車両の将来のカテゴリカルな意思決定（左車線変更、右車線変更、変更なし）を予測する。
• 高レベルの構造的モデリングとディープラーニングを統合することで、従来のRNNをはるかに超える解釈可能性とスケーラビリティを実現した。
• モデルは、自車両と複数の外部車両の間の相互作用を同時にモデル化する複合RNN構造を採用し、文脈的依存関係を捉えている。

実験結果

リサーチクエスチョン

• RQ1 グラフィカルモデルとRNNを統合したハイブリッドモデルは、標準的なRNNと比較して、車線変更予測の精度と解釈可能性を向上させることができるか？
• RQ2 高速道路走行の複雑さを考慮しても、1秒間のセンサデータのみを用いて将来の車線変更をどれほど正確に予測できるか？
• RQ3 RNNに構造的で車線ベースの要因グラフを組み込むことで、異なる予測時間窓において性能と一貫性が向上するか？
• RQ4 提案された複合SRNNは、単一LSTMおよび単一要因SRNNベースラインと比較して、バランス精度および耐障害性の面で優れているか？

主な発見

• 複合構造的RNN（SRNN）は、複数の時間窓において、単一LSTMおよび単一要因SRNNベースラインを最大12%のバランス精度向上で上回った。
• 5秒の時間履歴が与えられた場合、長時間予測窓（最大3秒）においても一貫した性能を示し、優れた時間的モデリングの信頼性を裏付けた。
• 9つの時間窓設定のうち8つにおいて、複合SRNNは単一LSTMおよび単一要因SRNNを上回るバランス精度を達成し、その耐障害性を示した。
• 2つのケース（5秒履歴での2秒および3秒予測）においてわずかな性能のピークが見られたが、複合SRNNは全体として優れた一貫性と透明性を維持した。
• 解釈可能性と構造的設計のおかげで、特に安全が重要な自律走行ドライブの場面では、不透明な単一層RNNに比べて顕著な利点が得られた。
• 結果から、高レベルのグラフィカル構造とディープRNN学習を統合することで、自律走行車両のより信頼性が高く透明な行動予測が可能になることが検証された。