[論文レビュー] Brain4Cars: Car That Knows Before You Do via Sensory-Fusion Deep Learning Architecture

Ashesh Jain, Hema Swetha Koppula+4 more|arXiv (Cornell University)|Jan 5, 2016

Autonomous Vehicle Technology and Safety参考文献 67被引用数 95

ひとこと要約

本論文では、車内カメラ、GPS、車両動態、および街路地図からのマルチモーダルデータを統合することで、3.5秒先のドライバーの操作を予測するRNNを用いたセンサーフュージョン深層学習アーキテクチャ「Brain4Cars」を提案する。本システムは、独自のシーケンス・ツー・シーケンス学習手順とカスタム損失層を用い、90.5%の精度と87.4%の再現率を達成し、先進的ドライバー支援システム（ADAS）における早期警告を顕著に向上させる。

ABSTRACT

Advanced Driver Assistance Systems (ADAS) have made driving safer over the last decade. They prepare vehicles for unsafe road conditions and alert drivers if they perform a dangerous maneuver. However, many accidents are unavoidable because by the time drivers are alerted, it is already too late. Anticipating maneuvers beforehand can alert drivers before they perform the maneuver and also give ADAS more time to avoid or prepare for the danger. In this work we propose a vehicular sensor-rich platform and learning algorithms for maneuver anticipation. For this purpose we equip a car with cameras, Global Positioning System (GPS), and a computing device to capture the driving context from both inside and outside of the car. In order to anticipate maneuvers, we propose a sensory-fusion deep learning architecture which jointly learns to anticipate and fuse multiple sensory streams. Our architecture consists of Recurrent Neural Networks (RNNs) that use Long Short-Term Memory (LSTM) units to capture long temporal dependencies. We propose a novel training procedure which allows the network to predict the future given only a partial temporal context. We introduce a diverse data set with 1180 miles of natural freeway and city driving, and show that we can anticipate maneuvers 3.5 seconds before they occur in real-time with a precision and recall of 90.5\% and 87.4\% respectively.

研究の動機と目的

• 危険な操作が開始された後ではなく、それ以前にドライバーの操作を予測するリアルタイムシステムを開発し、ADASにおける早期警告とより安全な介入を可能にすること。
• 既存のADASシステムが危険な操作の開始後にしか反応しないという限界を補い、部分的な時系列的文脈を用いて将来の行動を予測することで、その課題を解決すること。
• 車両内の映像、GPS、車両動態、地図といった多様なデータストリームを統合できる、耐障害性の高いセンサーフュージョンアーキテクチャを構築すること。
• 今後の研究のベンチマーク化を可能にするために、車内および外部の映像、GPS、車両動態データを同期させた大規模かつ多様な自然走行データセットを公開すること。
• 次世代ADASにおける予測走行システムとロボット工学におけるセンサーフュージョン研究を加速するために、オープンソースの深層学習パッケージを提供すること。

提案手法

• 本システムは、マルチモーダルセンサーデータ内の長期的時系列依存性をモデル化するために、長短記憶（LSTM）ユニットを備えた再帰的ニューラルネットワーク（RNN）を採用する。
• 独自のシーケンス・ツー・シーケンス学習手順により、ネットワークが部分的な時系列的文脈から将来的な操作を予測できるようにし、リアルタイムの予測を模倣する。
• 限定的な時系列シーケンスでの学習中に一般化を向上させ、過学習を低減するために、カスタム損失層を導入する。
• 車内（ドライバーの顔、ジェスチャー）および外部（道路状況、GPS、車両動態）センサからの特徴を統合し、操作予測のための統合表現を生成する。
• 推論にはAIO-HMM（音声・画像・オブジェクト隠れマルコフモデル）を用い、ドライバーの意思図状態をモデル化し、前方後方アルゴリズムにより操作の確率を計算する。
• 顔追跡器を用いてドライバー状態の特徴を抽出し、それらを外部センサの特徴と組み合わせてベイズ推論（式20）により操作の尤度を計算する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルセンサからの部分的な時系列的文脈のみを用いて、深層学習モデルがドライバーの操作を効果的に予測できるか。
• RQ2 センサーフュージョンRNN-LSTMアーキテクチャは、多様な走行状況、ルート、およびドライバー行動にわたってどれほど一般化できるか。
• RQ3 操作予測において、標準的な顔追跡よりも高度な3次元顔ポーズ推定を用いることで、どの程度性能向上が得られるか。
• RQ4 マルチモーダルセンサーフュージョンは、単一モダリティアプローチと比較して、予測精度をどの程度向上させるか。
• RQ5 リアルタイムでエンド・ツー・エンドに動作するシステムは、90.5%の精度と87.4%の再現率を達成し、3.5秒先の信頼性の高い操作予測を実現できるか。

主な発見

• 提案されたセンサーフュージョンRNN-LSTMアーキテクチャは、高度な3次元顔ポーズ推定を用いることで、3.5秒先の運転操作を90.5%の精度と87.4%の再現率で予測する。
• 標準的なオール・オブ・ザ・ボックスの顔追跡を用いる場合、84.5%の精度と77.1%の再現率を達成し、強力なベースライン性能を示す。
• 独自のシーケンス・ツー・シーケンス学習手順とカスタム損失層の導入により、モデルの一般化能力と予測精度が顕著に向上した。
• 車内および外部のセンサーストリーム間の共同学習を活用することで、本システムは先行する単一モダリティアプローチを上回る性能を発揮した。
• 同期された車内および外部の映像、GPS、車両動態データを含む1180マイルに及ぶ自然走行データセットの公開により、今後の予測システム分野のベンチマーク化と研究が可能になった。
• オープンソースの深層学習パッケージのおかげで、再現性が確保され、次世代ADASにおける予測機能を備えた開発が加速した。