[論文レビュー] A Drowsiness Detection Scheme Based on Fusion of Voice and Vision Cues.

Anirban Dasgupta, Bibek Kabi+3 more|arXiv (Cornell University)|Sep 16, 2015

Sleep and Work-Related Fatigue参考文献 13被引用数 3

ひとこと要約

本稿では、ドライバーの眠気度をリアルタイムで評価する非接触の眠気検出システムを提案する。音声と視覚の手がかりを融合させることで、侵襲的な方法を用いずに正確な眠気推定を実現し、脳波データとのクロスバリデーションにより信頼性を確認している。

ABSTRACT

Drowsiness level detection of an individual is very important in many safety critical applications such as driving. There are several invasive and contact based methods such as use of blood biochemical, brain signals etc. which can estimate the level of drowsiness very accurately. However, these methods are very difficult to implement in practical scenarios, as they cause discomfort to the user. This paper presents a combined voice and vision based drowsiness detection system well suited to detect the drowsiness level of an automotive driver. The vision and voice based detection, being non-contact methods, has the advantage of their feasibility of implementation. The authenticity of these methods have been cross-validated using brain signals.

研究の動機と目的

• 自動車環境に適した非侵襲的でリアルタイムの眠気検出システムの開発を目的とする。
• 補完的な音声および視覚ベースの特徴を統合することで、検出精度の向上を図る。
• 脳波信号をゴールドスタンダードとして用いて、システムの信頼性を検証する。
• 接触を伴わないセンシング手法により、実用的な導入を可能にする。
• 侵襲的な生理的モニタリング手法と比較して、ユーザーの不快感を低減する。

提案手法

• システムはドライバーの音声および動画ストリームをリアルタイムで取得する。
• 音声特徴は、話し方のリズムや周波数の変化に注目した音声処理技術を用いて抽出する。
• 視覚特徴は、顔の特徴点を用いたコンピュータビジョンアルゴリズムにより、特に目が閉じている状態や頭の姿勢を抽出する。
• 融合モデルが音声および視覚特徴を統合し、眠気度を推定する。
• システムの性能は、脳波信号から推定される眠気度と照合することで検証される。
• 特徴の統合には、検出精度を最適化するための重み付き組み合わせ戦略が用いられる。

実験結果

リサーチクエスチョン

• RQ1 音声と視覚の手がかりを効果的に統合することで、身体的接触なしに眠気を検出できるか？
• RQ2 音声および視覚特徴の統合は、単一モodalなアプローチと比較して、眠気検出精度をどのように向上させるか？
• RQ3 システムの出力は、脳波信号で測定された実際の眠気度とどの程度相関しているか？
• RQ4 本システムは実際の運転環境で信頼性を持って導入可能か？

主な発見

• 提案された統合システムは、単一モダリティのアプローチよりも高い眠気検出精度を達成した。
• システムは脳波信号から導かれる眠気度と強く相関しており、その信頼性が裏付けられた。
• 音声と視覚の手がかりは補完的であり、検出のロバスト性を向上させた。
• 非接触の性質のおかげで、ユーザーの快適性が確保され、車両内での実用的導入が可能になった。
• 統合モデルは誤検出を効果的に低減し、検出の一貫性を向上させた。