[論文レビュー] Driver Intention Anticipation Based on In-Cabin and Driving Scene Monitoring

Yao Rong, Zeynep Akata+1 more|arXiv (Cornell University)|Jun 20, 2020

Autonomous Vehicle Technology and Safety参考文献 18被引用数 4

ひとこと要約

本稿では、運動特徴抽出にConvLSTMベースのオートエンコーダーを用い、新たな共同分類器を備えたエンド・ツー・エンドのディープラーニングフレームワークを提案する。この手法は、Brain4carsデータセットで83.98%の正確性と84.30%のF1スコアを達成し、ドライバー行動の車内モニタリングと外部交通状況の両方が相補的であり、単一ストリーム手法に比べて運転行動予測性能を顕著に向上させることを示している。

ABSTRACT

Numerous car accidents are caused by improper driving maneuvers. Serious injuries are however avoidable if such driving maneuvers are detected beforehand and the driver is assisted accordingly. In fact, various recent research has focused on the automated prediction of driving maneuver based on hand-crafted features extracted mainly from in-cabin driver videos. Since the outside view from the traffic scene may also contain informative features for driving maneuver prediction, we present a framework for the detection of the drivers' intention based on both in-cabin and traffic scene videos. More specifically, we (1) propose a Convolutional-LSTM (ConvLSTM)-based auto-encoder to extract motion features from the out-cabin traffic, (2) train a classifier which considers motions from both in- and outside of the cabin jointly for maneuver intention anticipation, (3) experimentally prove that the in- and outside image features have complementary information. Our evaluation based on the publicly available dataset Brain4cars shows that our framework achieves a prediction with the accuracy of 83.98% and F1-score of 84.3%.

研究の動機と目的

• ドライバーの運転行動予測を向上させるために、車内でのドライバー行動と外部の交通状況映像データを統合する。
• 手作業による特徴エンコーディングを回避するエンド・ツー・エンドの学習フレームワークを開発し、実世界への展開に実用的であることを目指す。
• ConvLSTMベースのオートエンコーダーを用いて、外部映像から意味のある運動特徴を抽出し、外部の状況情報を有効に活用できるようにする。
• リソース制限のあるモバイルまたは車載プラットフォームに適した、軽量でパラメータ効率の良いモデルを設計する。
• 車内および外部映像ストリームが、意思決定予測において相補的かつ相互に補完的な情報を提供することを検証する。

提案手法

• 連続する外部映像フレームのオプティカルフロー表現から、ConvLSTMベースのオートエンコーダーを用いて運動特徴を抽出する。
• 3D ResNet-50を用いて、車内ドライバー映像から空間時間的特徴を抽出し、頭部の動きやジェスチャーを捉える。
• 新たな分類器アーキテクチャが、外部特徴用の運動デコーダーを備え、エンド・ツー・エンドで学習可能な形で車内および外部特徴を共同処理する。
• 5つの運転行動タイプ（例：左折、右折、車線変更など）のクラス不均衡に対処するため、バランスの取れた損失関数を用いて訓練する。
• 公開済みのBrain4carsデータセットを用い、5分割交差検証で評価し、単一ストリームおよびデュアルストリーム入力のアブレーションスタディを実施する。
• 手作業による特徴エンジニアリングや手動エンコーディングは一切使用せず、すべての特徴を生動画データからエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 外部映像の運動特徴を抽出し、車内特徴と組み合わせることで、ドライバーの運転行動予測性能が向上するか？
• RQ2 車内および外部映像ストリームを統合して共同でモデリングすることで、単一ストリームベースラインに比べて性能が向上するか？
• RQ3 手作業による特徴エンジニアリングなしで、限られた実世界のドライブデータから効果的に学習できる軽量でエンド・ツー・エンドのディープラーニングフレームワークは実現可能か？
• RQ4 外部映像からの情報は、車内特徴と相補的か、それとも融合によって性能が低下するか？
• RQ5 提案されたフレームワークは、従来の大規模モデルに比べて少ないパラメータ数で高い正確性を達成できるか？

主な発見

• 提案されたデュアルストリームフレームワークは、Brain4carsデータセットで83.98%の正確性と84.30%のF1スコアを達成し、単一ストリームベースラインを顕著に上回った。
• 外部映像のみを用いた場合でも、60.87%の正確性と66.38%のF1スコアを達成しており、交通状況の運動情報が予測に価値ある信号を含んでいることを示している。
• 3D ResNet-101を用いた先行の最先端手法よりも、正確性で8.48ポイント、F1スコアで11.10ポイント高い性能を達成したが、パラメータ数は少ない。
• しきい値ベースの予測ポリシーを必要とせず、すべての運転行動クラスで高い信頼性を維持しており、しきい値依存の過剰な依存を回避している。
• 結果から、車内および外部特徴が相補的であり、統合されたモデリングが個別ストリームよりも優れた性能を発揮することが確認された。
• パラメータ効率に優れ、両ストリームを用いた場合のパラメータ数は5792万個にとどまり、モバイルや組み込みプラットフォームへの展開に適している。