[論文レビュー] Using image-extracted features to determine heart rate and blink duration for driver sleepiness detection

Erfan Darzi, Mohammadie-Zand, Armin+1 more|arXiv (Cornell University)|Nov 4, 2019

Non-Invasive Vital Sign Monitoring参考文献 16被引用数 4

ひとこと要約

本稿では、画像から抽出した特徴量を用いて心拍数と瞬き持続時間の推定を行う非挿入的で遠隔式のドライバーの眠気検出システムを提案する。顔の動画分析を用い、人工ニューラルネットワーク（ANN）と線形判別分析（LDA）を用いて目の状態（開いている／閉じている）を分類し、独立成分分析（ICA）と色度に基づく手法を用いて心拍数を推定する。瞬き検出の正確さは92%、心拍数推定の平均誤差は13 BPMに達した。

ABSTRACT

Heart rate and blink duration are two vital physiological signals which give information about cardiac activity and consciousness. Monitoring these two signals is crucial for various applications such as driver drowsiness detection. As there are several problems posed by the conventional systems to be used for continuous, long-term monitoring, a remote blink and ECG monitoring system can be used as an alternative. For estimating the blink duration, two strategies are used. In the first approach, pictures of open and closed eyes are fed into an Artificial Neural Network (ANN) to decide whether the eyes are open or close. In the second approach, they are classified and labeled using Linear Discriminant Analysis (LDA). The labeled images are then be used to determine the blink duration. For heart rate variability, two strategies are used to evaluate the passing blood volume: Independent Component Analysis (ICA); and a chrominance based method. Eye recognition yielded 78-92% accuracy in classifying open/closed eyes with ANN and 71-91% accuracy with LDA. Heart rate evaluations had a mean loss of around 16 Beats Per Minute (BPM) for the ICA strategy and 13 BPM for the chrominance based technique.

研究の動機と目的

• 画像に基づく生理的信号を用いて、遠隔的かつ非挿入的なドライバーの眠気検出システムを開発すること。
• 従来のウェアラブルセンサーの限界を克服し、連続的で長期的な評価が可能な動画ベースのモニタリングを実現すること。
• 顔の画像から得られる瞬き持続時間と心拍数変動の統合により、眠気検出の正確さと信頼性を向上させること。
• 目の状態分類と心拍数推定に用いる複数の機械学習および信号処理手法の評価と比較を行うこと。
• 実時間でのドライバー監視システムに向けた実用的で低コストなウェアラブルデバイスの代替案を提供すること。

提案手法

• 目の状態（開いている／閉じている）および血液体積の変化に関連する特徴量を抽出するため、顔の動画シーケンスを収集した。
• 人工ニューラルネットワーク（ANN）を用いて画像からの目の状態分類を実施し、78–92%の正確さを達成した。
• 目の状態分類の代替手法として線形判別分析（LDA）を適用し、71–91%の正確さを達成した。
• 独立成分分析（ICA）を用いて顔の動画信号から心拍数を推定したが、平均誤差は約16 BPMであった。
• 色度に基づく手法を実装し、心拍数変動を推定した。この手法は平均誤差が約13 BPMにまで低く抑えられ、ICAを上回った。
• 瞬き持続時間の推定と心拍数変動の統合により、実時間でのドライバーの眠気状態を評価した。

実験結果

リサーチクエスチョン

• RQ1 顔の動画から抽出した特徴量は、ドライバーの眠気検出に向け、瞬き持続時間を正確に推定できるか？
• RQ2 ANNとLDAは、静止画像からの開眼・閉眼状態分類においてどの程度有効か？
• RQ3 ICAと色度に基づく分析のうち、どちらの信号処理手法が顔の動画からの心拍数推定においてより正確か？
• RQ4 瞬き持続時間と心拍数変動の統合的影響は、眠気検出のパフォーマンスにどのような影響を与えるか？
• RQ5 接触を要しない動画ベースのシステムは、長期間にわたる連続的監視において、従来のウェアラブルセンサーを上回る性能を示せるか？

主な発見

• ANNを用いた手法は、顔の画像からの開眼・閉眼状態分類において78–92%の正確さを達成した。
• LDAを用いた手法は、被験者間で一貫した性能を示し、目の状態分類において71–91%の正確さを達成した。
• ICAを用いた心拍数推定手法は、平均誤差が約16ビート毎分（BPM）であった。
• 色度に基づく心拍数推定手法は、平均誤差が約13 BPMにまで低く抑えられ、ICAを上回った。
• 画像から抽出した特徴量を用いた瞬き持続時間と心拍数変動の統合は、信頼性の高い非挿入的眠気検出を可能にした。
• 本システムは、ウェアラブルセンサーを必要としない、実時間でのドライバーの疲労状態の遠隔監視の実現可能性を示した。