[論文レビュー] Towards Evaluating Driver Fatigue with Robust Deep Learning Models

Ken Alparslan, Yigit Alparslan+1 more|arXiv (Cornell University)|Jul 16, 2020

Sleep and Work-Related Fatigue参考文献 25被引用数 7

ひとこと要約

本論文では、目の領域と顔の領域の画像を用いた畳み込みニューラルネットワークによるまぶたの閉じ具合分類を用いて、ドライバーの眠りを検出する耐障害性の高いディープラーニングフレームワークを提案する。目のモデルでは95.84%の精度を達成し、敵対的学習とデータ拡張を用いることで顔モデルの性能を6%向上させ、19 MBに量子化されたモデルをモバイルデプロイ用に実現した。

ABSTRACT

In this paper, we explore different deep learning based approaches to detect driver fatigue. Drowsy driving results in approximately 72,000 crashes and 44,000 injuries every year in the US and detecting drowsiness and alerting the driver can save many lives. There have been many approaches to detect fatigue, of which eye closedness detection is one. We propose a framework to detect eye closedness in a captured camera frame as a gateway for detecting drowsiness. We explore two different datasets to detect eye closedness. We develop an eye model by using new Eye-blink dataset and a face model by using the Closed Eyes in the Wild (CEW). We also explore different techniques to make the models more robust by adding noise. We achieve 95.84% accuracy on our eye model and 80.01% accuracy on our face model. We also see that we can improve our accuracy on the face model by 6% via adversarial training and data augmentation. We hope that our work will be useful to the field of driver fatigue detection to avoid potential vehicle accidents related to drowsy driving.

研究の動機と目的

• 眠りによる事故を防ぐために、コスト効率が良く、モバイルデプロイ可能なドライバーの眠り検出ソリューションの開発。
• 特に実世界の条件下で顕著な誤検出（偽陽性・偽陰性）を生じる疲労検出システムの課題に対処する。
• 照明の変化、ポーズの変化、遮蔽などの環境的摂動に対してモデルの耐障害性を向上させる。
• 高級車に限らない広範なアクセスを可能にするために、モバイル互換性を持つモデルを活用する。
• 敵対的学習とデータ拡張技術を用いて、モデルの効率性と精度を最適化する。

提案手法

• 高精度なまぶたの閉じ具合分類（開いている vs. 閉じている）を実現するため、独自に構築したEye-blinkデータセットを用いて深層畳み込みニューラルネットワークを学習する。
• 実世界の状況を模倣するため、顔全体の画像からまぶたの閉じ具合を検出する目的で、Closed Eyes in the Wild (CEW) データセットを用いて2番目のモデルを学習する。
• ずれ、ズーム、リスケーリングなどのデータ拡張技術を適用し、敵対的環境的条件を模擬し、耐障害性を向上させる。
• ノイズ注入を用いた敵対的学習により、ブラックボックスの敵対的攻撃（例：照明不良、ブレ）を模擬し、一般化性能を向上させる。
• 学習済みモデルを固定し、効率的なモバイルデプロイを可能にするためにTensorFlow Lite (TFLite) 形式に変換し、モデルサイズを約19 MBに収める。
• 訓練およびテスト分割の両方で、標準指標（精度、適合率、再現率、F1スコア）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 目のパッチ画像のみを用いたディープラーニングモデルが、まぶたの閉じ具合検出において高い精度を達成できるか？
• RQ2 顔の画像を用いたモデルと目のパッチ画像を用いたモデルの間で、精度と耐障害性の観点から性能にどのような差が生じるか？
• RQ3 データ拡張と併用した敵対的学習が、一般化性能の向上と疲労検出における偽陰性の低減にどの程度寄与するか？
• RQ4 提案されたモデルは、顕著な精度損失なしに、効率的に量子化され、モバイルデバイスにデプロイ可能か？
• RQ5 環境的摂動（例：照明、ポーズ、遮蔽）がモデル性能に与える影響は何か？また、敵対的学習はこれらの影響を緩和できるか？

主な発見

• 目のモデルはテスト精度95.84%を達成し、顔モデルよりも2%高い精度を示した。
• 敵対的学習を適用しない顔モデルでは80.01%の精度を示したが、敵対的学習とデータ拡張を適用することで86.01%に向上した。
• 敵対的学習により過学習が軽減され、再現率が約5%向上し、まぶたの閉じ具合検出における偽陰性が減少した。
• ベースラインの顔モデルでは訓練精度がテスト精度を上回っており、過学習の兆候が見られたが、敵対的学習によりこれを是正した。
• データ拡張と敵対的ノイズを学習段階で使用した結果、ある実験でデータ拡張を除去した場合に、適合率、再現率、F1スコアがそれぞれ12%向上した。
• すべてのモデルがTensorFlow Lite形式に正常に量子化され、約19 MBという一貫したサイズに収まり、将来的なモバイルデプロイが可能となった。