[論文レビュー] Driver distraction detection and recognition using RGB-D sensor

Céline Craye, Fakhri Karray|arXiv (Cornell University)|Feb 1, 2015

Sleep and Work-Related Fatigue参考文献 42被引用数 75

ひとこと要約

本論文では、KinectセンサーのRGB-Dデータを用いた、ドライバーの注意散漫を4つの行動的カテゴリー（視線行動、腕の位置、頭の向き、顔の表情）に分類するシステムを提案する。AdaBoostと隠れマルコフモデル（HMM）の融合により、シミュレータ研究で8名のドライバーを対象に、注意散漫の種別認識で85%、注意散漫検出で90%の精度を達成した。

ABSTRACT

Driver inattention assessment has become a very active field in intelligent transportation systems. Based on active sensor Kinect and computer vision tools, we have built an efficient module for detecting driver distraction and recognizing the type of distraction. Based on color and depth map data from the Kinect, our system is composed of four sub-modules. We call them eye behavior (detecting gaze and blinking), arm position (is the right arm up, down, right of forward), head orientation, and facial expressions. Each module produces relevant information for assessing driver inattention. They are merged together later on using two different classification strategies: AdaBoost classifier and Hidden Markov Model. Evaluation is done using a driving simulator and 8 drivers of different gender, age and nationality for a total of more than 8 hours of recording. Qualitative and quantitative results show strong and accurate detection and recognition capacity (85% accuracy for the type of distraction and 90% for distraction detection). Moreover, each module is obtained independently and could be used for other types of inference, such as fatigue detection, and could be implemented for real cars systems.

研究の動機と目的

• RGB-Dセンサーのデータを用いて、リアルタイムかつ非侵襲的な方法でドライバーの注意散漫を検出・識別するシステムを開発すること。
• 視覚的・手作業的・認知的注意散漫を、マルチモーダルな行動分析により特定することで、ドライバーの安全性を向上させること。
• 単なる不注意の検出をはるかに超えた、詳細な注意散漫種別の識別を提供することにより、文脈に応じた人間-機械インタラクションを実現すること。
• 疲労検出やその他のドライバー状態推定タスクに応用可能な再利用可能なモジュール型コンponentsを設計すること。
• 多様なドライバーを対象に、現実的なドライブシミュレータ環境下でシステムの性能を評価すること。

提案手法

• 本システムは、Kinectセンサーを用いて、リアルタイムでのドライバー監視を可能にする同期されたRGBおよび深度動画ストリームを取得する。
• 4つの独立したモジュールが特徴量を抽出する：視線行動（注視方向、瞬き）、腕の位置（上/下/右/前）、頭の向き、顔の表情（顔の特徴点検出を用いる）。
• AdaBoost分類器の出力に対して時間的スムージングを適用し、フレーム間の変動を低減し、安定性を向上させる。
• 隠れマルコフモデル（HMM）を用いて、注意散漫行動の時間的ダイナミクスをモデル化し、時間経過に伴う識別精度の向上を図る。
• モジュール出力の統合には2つの戦略を採用する：AdaBoostを用いた早期統合と、HMMによる順次的モデリングによる分類精度の向上。
• 本システムは、年齢や性別が異なる8名のドライバーによるドライブシミュレータ記録から得た8時間以上のデータセットを用いて、学習および評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 KinectからのRGB-Dセンサーのデータを用いて、高い精度で注意散漫を検出し分類することは可能か？
• RQ2 個々の行動モジュール（視線、腕、頭、表情）は、全体の注意散漫識別性能にどのように寄与しているか？
• RQ3 HMMによる時間的モデリングは、AdaBoostを用いた静的分類と比較して、分類精度を向上させることができるか？
• RQ4 電話使用、テキスト入力、飲酒、物体操作などの異なる種類の注意散漫は、検出可能性や誤分類率においてどのように異なるか？
• RQ5 モジュラー設計は、疲労検出などの他のドライバー状態監視タスクへの応用をどの程度可能にするか？

主な発見

• 注意散漫の種別認識では85%の精度を達成し、特に電話通話（96.24%の適合率）とテキスト入力（96.24%の適合率）で最高の性能を示した。
• 注意散漫全体の検出では90%の精度に達し、通常の運転が最も正確に検出された（再現率96.00%）。
• 物体操作に関する注意散漫は、通常の運転行動と類似しているため、検出が最も困難であり、感度はたったの24.78%にとどまった。
• 飲酒行動は高い偽陽性率（51.45%の適合率）を示したが、主に電話使用などの他のタスクにおける腕の動きが混同要因となった。
• HMMベースの統合戦略により、時間的整合性が向上し、複数行動が混在するシーケンスにおけるフレームレベルのノイズと偽陽性が低減された。
• モジュラー設計により、PERCLOSやうなずき頻度を用いた疲労検出などの他の応用でも、コンponentsを独立して利用可能となった。