[論文レビュー] MIT Autonomous Vehicle Technology Study: Large-Scale Deep Learning Based Analysis of Driver Behavior and Interaction with Automation

Lex Fridman, Daniel E. Brown+16 more|arXiv (Cornell University)|Nov 19, 2017

Autonomous Vehicle Technology and Safety被引用数 76

ひとこと要約

本研究では、自律走行車における人間と自動化のインタラクションを分析するために、25台の計装化された車両を用いた大規模かつ現実世界のデータ収集イニシャチブを提示する。7,146日間の走行データと275,589マイル、HD動画、CANバス、GPS、IMUを含むマルチモーダルデータを収集し、ディープラーニングを用いて行動的インサイトを抽出することで、現実世界の条件下におけるドライバーの関与状態や自動化への依存度を理解するための豊富なデータセットとコンピュータビジョンパイプラインを提供する。

ABSTRACT

Today, and possibly for a long time to come, the full driving task is too complex an activity to be fully formalized as a sensing-acting robotics system that can be explicitly solved through model-based and learning-based approaches in order to achieve full unconstrained vehicle autonomy. Localization, mapping, scene perception, vehicle control, trajectory optimization, and higher-level planning decisions associated with autonomous vehicle development remain full of open challenges. This is especially true for unconstrained, real-world operation where the margin of allowable error is extremely small and the number of edge-cases is extremely large. Until these problems are solved, human beings will remain an integral part of the driving task, monitoring the AI system as it performs anywhere from just over 0% to just under 100% of the driving. The governing objectives of the MIT Autonomous Vehicle Technology (MIT-AVT) study are to (1) undertake large-scale real-world driving data collection, and (2) gain a holistic understanding of how human beings interact with vehicle automation technology. In pursuing these objectives, we have instrumented 21 Tesla Model S and Model X vehicles, 2 Volvo S90 vehicles, and 2 Range Rover Evoque vehicles for both long-term (over a year per driver) and medium term (one month per driver) naturalistic driving data collection. The recorded data streams include IMU, GPS, CAN messages, and high-definition video streams of the driver face, the driver cabin, the forward roadway, and the instrument cluster. The study is on-going and growing. To date, we have 78 participants, 7,146 days of participation, 275,589 miles, and 3.5 billion video frames. This paper presents the design of the study, the data collection hardware, the processing of the data, and the computer vision algorithms currently being used to extract actionable knowledge from the data.

研究の動機と目的

• 自然な条件下で大規模かつ現実世界の走行データを収集し、自動車の自動化との人間のインタラクションを研究すること。
• さまざまな自動化レベルにおいて、ドライバーが自動走行システムをどのように監視し、反応するかを理解すること。
• マルチモーダルセンサーからのデータから行動的およびインタラクションメトリクスを抽出するためのコンピュータビジョンおよびデータ処理パイプラインの開発と検証すること。
• 制約のない環境でドライバー行動と自動化への信頼に関する研究を支援するスケーラブルかつ長期的なデータインfra構築すること。

提案手法

• GPS、IMU、CANバス、および高精細動画センサーで計装化された21台のテスラ・モデルS/X、2台のボルボS90、2台のレンジローバー・エボーク車両を用意した。
• 78名の参加者から、1年以上の長期的および1か月間の中期的な自然的走行データを収集した。
• ドライバーの状態と行動を抽出するために、35億フレームの動画と275,589マイルの走行データをコンピュータビジョンアルゴリズムで処理した。
• ドライバーの顔、車内、前方道路、メータークラスターの動画ストリームに対してディープラーニングモデルを適用し、行動パターンの検出を実施した。
• IMU、GPS、CANのセンサー・データストリームを動画データと統合し、同期されたマルチモーダルな行動分析を実現した。
• 現実世界の走行環境における継続的なデータ収集と分析を可能にするスケーラブルなデータパイプラインを設計した。

実験結果

リサーチクエスチョン

• RQ1 ドライバーは現実世界の制約のない走行環境において、自動走行システムに対してどのように関与し、解除するのか？
• RQ2 手動走行モードと自動走行モードの間で、ドライバーにどのような行動パターンが現れるのか？
• RQ3 さまざまな自動化レベルや走行シナリオにおいて、ドライバーの注視と作業負荷はどのように変化するのか？
• RQ4 長期使用における自動化への過信（コンプライアンス）や過剰依存の主な兆候は何か？
• RQ5 マルチモーダルセンサー・データを効果的に統合して、ドライバーの状態とインタラクションダイナミクスを推定するにはどうすればよいか？

主な発見

• 本研究では、78名の参加者を対象に、多様な車両プラットフォームを用いて7,146日間の走行データ、275,589マイル、35億フレームの動画データを収集した。
• 高精細動画、CANバス、GPS、IMUデータを統合した包括的なマルチモーダルデータセットが作成され、包括的な行動分析が可能になった。
• ディープラーニングに基づくコンピュータビジョンアルゴリズムが、複雑な現実世界の走行動画ストリームから実用的なインサイトを効果的に抽出している。
• 本研究のデータ収集インfraは、自然な条件下でのドライバー行動の継続的かつ長期的なモニタリングを可能にしている。
• 本研究は、人間と自動化のインタラクションに関する継続的なデータ取得と分析を可能にするスケーラブルなフレームワークを提供している。
• 本データセットと処理パイプラインは研究目的で公開されており、自動車内のドライバー行動に関する広範な研究を可能にしている。