[論文レビュー] Driver Action Prediction Using Deep (Bidirectional) Recurrent Neural Network

Oluwatobi Olabiyi, Eric Martinson+2 more|arXiv (Cornell University)|Jun 7, 2017

Human Pose and Action Recognition参考文献 26被引用数 71

ひとこと要約

本論文は運転者の行動予測を時系列異常検知問題として定式化し、深層の双方向リカレントニューラルネットワーク（DBRNN）を用いて、カメラ/環境、運転者、車両ダイナミクスデータを統合することで、実行前の最大 5 seconds までの行動（加速、ブレーキング、車線変更、 turning ）を予測する。

ABSTRACT

Advanced driver assistance systems (ADAS) can be significantly improved with effective driver action prediction (DAP). Predicting driver actions early and accurately can help mitigate the effects of potentially unsafe driving behaviors and avoid possible accidents. In this paper, we formulate driver action prediction as a timeseries anomaly prediction problem. While the anomaly (driver actions of interest) detection might be trivial in this context, finding patterns that consistently precede an anomaly requires searching for or extracting features across multi-modal sensory inputs. We present such a driver action prediction system, including a real-time data acquisition, processing and learning framework for predicting future or impending driver action. The proposed system incorporates camera-based knowledge of the driving environment and the driver themselves, in addition to traditional vehicle dynamics. It then uses a deep bidirectional recurrent neural network (DBRNN) to learn the correlation between sensory inputs and impending driver behavior achieving accurate and high horizon action prediction. The proposed system performs better than other existing systems on driver action prediction tasks and can accurately predict key driver actions including acceleration, braking, lane change and turning at durations of 5sec before the action is executed by the driver.

研究の動機と目的

• ADAS の向上を早期かつ正確な運転者行動予測を通じて実現する。
• 環境、運転者、車両ダイナミクスというマルチモーダル感覚入力を活用して予測を行う。
• 運転者の行動予測を時系列異常検知問題として定式化する。
• リアルタイムのデータ取得・処理・学習フレームワークを開発する。

提案手法

• 感覚入力と差し迫る運転者挙動との相関を学習するために DBRNN を適用する。
• カメラベースの運転環境データを運転者信号および従来の車両ダイナミクスと統合する。
• 差し迫る運転者行動を時系列フレームワークで予測すべき異常として扱う。
• 継続的な予測のためのリアルタイムなデータ取得・処理・学習パイプラインを実装する。
• 5 秒の予測ホライズンを用いて加速、ブレーキング、車線変更、 turning の主要行動を評価する。

実験結果

リサーチクエスチョン

• RQ1 DBRNN はマルチモーダル入力と差し迫る運転者行動との相関を効果的に学習できるか？
• RQ2 提案されたフレームワークを用いてどれくらい早く、どれだけ正確に運転者行動を予測できるか？
• RQ3 DBRNN アプローチは加速、ブレーキング、車線変更、 turning に対する予測精度を既存システムと比較して改善するか？
• RQ4 運転者行動予測を時系列異常検知問題として定式化する利点と制約は何か？

主な発見

• DBRNN ベースのシステムは感覚入力と差し迫る運転者挙動との相関を学習する。
• このフレームワークはカメラ、運転者、車両ダイナミクスデータをリアルタイムで統合して動作する。
• 提案手法は運転者行動予測タスクにおいて既存システムより性能が優れている。
• 実行の5 seconds 前のホライズンで主要な行動（加速、ブレーキング、車線変更、 turning）を正確に予測できる。