[論文レビュー] Dynamics of Driver's Gaze: Explorations in Behavior Modeling & Maneuver Prediction.

Sujitha Martin, Sourabh Vora+2 more|arXiv (Cornell University)|Jan 31, 2018

Autonomous Vehicle Technology and Safety参考文献 20被引用数 6

ひとこと要約

本論文では、自然的運転データから抽出した空間的・時間的特徴（注視蓄積、注視持続時間、注視頻度）を用いてドライバーの注視動態をモデル化するマシンビジョンフレームワークを提案する。これらの特徴を分析することで、モデルは左・右の車線変更を最大1,000 msも前もって75%以上の精度で予測可能であり、自動運転車両におけるドライバーの意思決定や制御移管管理の予測性能が顕著に高いことを示している。

ABSTRACT

The study and modeling of driver's gaze dynamics is important because, if and how the driver is monitoring the driving environment is vital for driver assistance in manual mode, for take-over requests in highly automated mode and for semantic perception of the surround in fully autonomous mode. We developed a machine vision based framework to classify driver's gaze into context rich zones of interest and model driver's gaze behavior by representing gaze dynamics over a time period using gaze accumulation, glance duration and glance frequencies. As a use case, we explore the driver's gaze dynamic patterns during maneuvers executed in freeway driving, namely, left lane change maneuver, right lane change maneuver and lane keeping. It is shown that condensing gaze dynamics into durations and frequencies leads to recurring patterns based on driver activities. Furthermore, modeling these patterns show predictive powers in maneuver detection up to a few hundred milliseconds a priori.

研究の動機と目的

• 自然的運転環境におけるドライバーの注視動態をモデル化するフレームワークの開発を目的とし、ドライバー支援および自動制御移管を支援すること。
• 正確な注視分類のための文脈を含む注目領域（例：ミラー、センター・スタック、前方道路）を同定すること。
• 特定の走行行動中に繰り返し現れるパターンを捉える空間的・時間的特徴を用いて注視行動を定量化すること。
• 走行行動の実行前における注視動態の予測能力を評価すること。
• 自動運転車両における人間・機械間の制御移管をより安全に実現するため、ドライバーの意思を早期に検出可能にする仕組みを提供すること。

提案手法

• フレームワークはマシンビジョンを用いて、ドライバーの注視を文脈を含む静的注目領域（例：ミラー、センター・スタック、前方道路）に分類する。
• 注視動態は、3つの主要特徴（注視蓄積（特定領域に注視した合計時間）、注視持続時間（個々の注視の長さ）、注視頻度（単位時間あたりの注視回数））を用いて時間経過に伴い要約される。
• 複数名のドライバーから得られたラベル付き自然的運転データを用いてモデルを学習し、車線変更および車線維持の真値アノテーションを提供する。
• 注視行動モデルは、走行行動イベントの周囲で時間窓を用いた分析により評価され、再現率およびモデル信頼度スコアを指標に性能を測定する。
• 車線変更イベントの前後におけるさまざまな時間遅れ（ラグ）での予測精度を評価するため、順次的窓分割法が適用される。
• ドライバーおよび走行行動ごとの信頼度スコアの平均値と標準偏差を用いて、モデルの適合度を定量化する。

実験結果

リサーチクエスチョン

• RQ1 注視蓄積、注視持続時間、注視頻度は、高速道路走行中のドライバー注視行動において、繰り返し現れるパターンを効果的に捉えられるか？
• RQ2 注視動態は、車線変更の発生前までに、左・右の車線変更をどの程度の精度で予測できるか？
• RQ3 注視蓄積は、ドライバー間の変動が少ないため、注視持続時間や頻度よりも走行行動予測において優れた性能を示すか？
• RQ4 同じ走行行動において、ドライバーごとの注視行動パターンはどのように異なるか？また、モデルは個人を越えて一般化可能か？
• RQ5 注視に基づくモデルは、自動運転システムにおける制御移行のためのドライバー意思の早期検出をどの程度まで支援できるか？

主な発見

• 注視蓄積のみを用いた場合、左・右の車線変更を走行開始から最大1,000ミリ秒も前もって75%以上の予測精度を達成した。
• 注視持続時間のみを用いた場合、約60%の精度を示したが、持続時間と頻度を併用した場合、精度はわずか40%に低下し、ドライバー間での変動が顕著であることが示された。
• 注視蓄積は、注意配分の集約によるものであり、ドライバー間のばらつきを低減するため、より優れたロバスト性を示した。
• 左・右の車線変更を予測するモデルは、車線維持モデルと明確に分離しており、正しい走行行動の予測に対して高い信頼度を示した。
• 正しいモデルの信頼度は、ドライバーおよび走行行動の種別によってピークが前後するが、全被験者にわたり、正しいモデルの優位性は一貫していた。
• 本フレームワークは、特定の走行行動に関連する繰り返し現れる注視動態を的確に捉え、ドライバーの意思決定を信頼性高く予測可能であることを示した。