[論文レビュー] Drowsiness Detection Based On Driver Temporal Behavior Using a New Developed Dataset

Farnoosh Faraji, Faraz Lotfi+3 more|arXiv (Cornell University)|Mar 31, 2021

Sleep and Work-Related Fatigue参考文献 21被引用数 6

ひとこと要約

本稿では、リアルタイムの顔面特徴検出にYOLOv3を、ドライバー行動の時間的パターンをモデル化するためにLSTMを組み合わせたハイブリッドディープラーニング手法を提案する。新たに収集した、目を閉じる時間とあくびの時間間隔の系列データを活用することで、時間的系列モデリングにより、96.4%の精度で早期の眠気検出を実現。単一のCNNとしきい値ベースの手法に比べて優れた性能を発揮する。

ABSTRACT

Driver drowsiness detection has been the subject of many researches in the past few decades and various methods have been developed to detect it. In this study, as an image-based approach with adequate accuracy, along with the expedite process, we applied YOLOv3 (You Look Only Once-version3) CNN (Convolutional Neural Network) for extracting facial features automatically. Then, LSTM (Long-Short Term Memory) neural network is employed to learn driver temporal behaviors including yawning and blinking time period as well as sequence classification. To train YOLOv3, we utilized our collected dataset alongside the transfer learning method. Moreover, the dataset for the LSTM training process is produced by the mentioned CNN and is formatted as a two-dimensional sequence comprised of eye blinking and yawning time durations. The developed dataset considers both disturbances such as illumination and drivers' head posture. To have real-time experiments a multi-thread framework is developed to run both CNN and LSTM in parallel. Finally, results indicate the hybrid of CNN and LSTM ability in drowsiness detection and the effectiveness of the proposed method.

研究の動機と目的

• 1フレームの眠気検出の限界を克服するため、ドライバー行動の時間的パターンをモデル化する。
• 照明の変化や頭の向きの変化を考慮した、より強固な新規データセットを構築する。
• 空間的特徴抽出（YOLOv3）と順序付き行動モデリング（LSTM）を組み合わせることで、早期の眠気予測を向上させる。
• CNNとLSTMの並列処理フレームワークを採用することで、リアルタイム性能を実現する。
• 時間的系列学習が静的しきい値ベースの手法に比べて、眠気検出において優れていることを示す。

提案手法

• 転移学習を用いたYOLOv3を用い、動画フレームから顔面特徴点（目、口、眉）を検出する。
• 目の閉じる時間の系列データと、前回のあくびからの経過時間を抽出し、LSTM用の2次元入力系列を構成する。
• 時間的パターンに基づいて眠気の確率を分類するため、LSTMネットワークを系列データで学習する。
• リアルタイム推論を実現するため、YOLOv3とLSTMを並列に実行するマルチスレッドフレームワークを実装する。
• アラートを発動するためのしきい値として、眠気確率50%を採用し、あくび後に動的しきい値を調整する。
• 単一のCNN手法（目が5秒以上閉じた場合に反応）と、あくび後に適応的3秒しきい値を用いた手法の2つと、ハイブリッドLSTM-CNNシステムを比較する。

実験結果

リサーチクエスチョン

• RQ1 時間的行動系列を活用することで、1フレームベースのしきい値手法に比べ、ハイブリッドCNN-LSTMモデルが眠気検出をより効果的に行えるか？
• RQ2 目の閉じる時間とあくび後の時間間隔をモデル化することで、静的フレーム解析に比べ、眠気予測の精度がどの程度向上するか？
• RQ3 提案されたマルチスレッドリアルタイムフレームワークは、CNNとLSTMの並列処理を可能にしつつ、性能を維持できるか？
• RQ4 新たに収集した多様なデータセットを用いることで、照明や頭の向きの変化に対する耐性が向上するか？
• RQ5 個々のフレームのしきい値を満たさない状況でも、LSTMモデルは早期の眠気兆候を検出できるか？

主な発見

• ハイブリッドLSTM-CNNシステムは、眠気検出において96.4%の精度を達成し、単一のCNNとしきい値ベースの手法を上回った。
• LSTMモデルは、単一のCNN手法よりも早期に眠気を検出でき、目の閉じる時間が0.19秒の時点で眠気確率が0.16（16%）に達したが、まだCNNのしきい値に達していなかった。
• 目を開けた後も、ハイブリッドシステムは高い眠気確率（例：図9bでは0.14）を維持しており、疲労パターンの継続的検出を示している。
• あくびイベント後も、システムは警告を維持し、最大2分間はアラートを発動し続け、時間的記憶の有効性を示している。
• マルチスレッドフレームワークにより、CNNとLSTMを並列処理することでリアルタイム性能を実現し、実用的導入を可能にした。
• LSTMベースの手法は、個々のフレーム特徴が静的しきい値を満たさない状況でも、眠気を予測できることを示しており、系列モデリングの価値を裏付けた。