[論文レビュー] Design and Implementation of Real-time Algorithms for Eye Tracking and PERCLOS Measurement for on board Estimation of Alertness of Drivers

Anjith George, Aurobinda Routray|arXiv (Cornell University)|May 22, 2015

Sleep and Work-Related Fatigue参考文献 20被引用数 4

ひとこと要約

本稿では、コンピュータビジョンベースの瞳の追跡とPERCLOS（眼瞼閉鎖率）測定を用いた、ドライバーの注意喚起状態をリアルタイムで車両搭載で推定するシステムを提示する。明るさの変化に伴う瞳の検出に、ハール分類器、主成分分析（PCA）、およびLBPベースの手法を採用し、5 fpsを超えるフレームレートで90%以上の精度を達成した。これにより、実際の走行状況下でも早期の疲労検出が可能となった。

ABSTRACT

The alertness level of drivers can be estimated with the use of computer vision based methods. The level of fatigue can be found from the value of PERCLOS. It is the ratio of closed eye frames to the total frames processed. The main objective of the thesis is the design and implementation of real-time algorithms for measurement of PERCLOS. In this work we have developed a real-time system which is able to process the video onboard and to alarm the driver in case the driver is in alert. For accurate estimation of PERCLOS the frame rate should be greater than 4 and accuracy should be greater than 90%. For eye detection we have used mainly two approaches Haar classifier based method and Principal Component Analysis (PCA) based method for day time. During night time active Near Infra Red (NIR) illumination is used. Local Binary Pattern (LBP) histogram based method is used for the detection of eyes at night time. The accuracy rate of the algorithms was found to be more than 90% at frame rates more than 5 fps which was suitable for the application.

研究の動機と目的

• コンピュータビジョンを用いた、ドライバーの注意喚起状態を正確かつリアルタイムで車両搭載で推定するためのアルゴリズムを開発すること。
• 実用的な車両内での導入を想定し、高い精度（90%以上）と十分なフレームレート（5 fps以上）を確保すること。
• 適応的照明および特徴抽出技術を用いて、昼間および夜間の両方の条件下でも信頼性の高い瞳の検出を実現すること。
• PERCLOSが安全なしきい値を超えた場合にアラートを発動できるシステムを実装すること。これは眠気を示している。
• リアルタイムの動画処理において、車両搭載ドライバー監視アプリケーションへの実用性を検証すること。

提案手法

• 日中の照明条件下での瞳の検出に、ハール分類器およびPCAベースの手法を用いる。
• 夜間の安定した瞳の検出を実現するため、アクティブな近赤外（NIR）照明を採用する。
• 低照度条件下での頑健な瞳の検出を実現するため、局所的バイナリパターン（LBP）ヒストグラムベースの特徴抽出を適用する。
• 疲労度を定量化するために、閉じた目のフレーム数を総処理フレーム数で割った比率としてPERCLOSを計算する。
• 遅延制約を満たすために、最適化されたコンピュータビジョンパイプラインを用いて動画ストリームをリアルタイムで処理する。
• アルゴリズムを統合し、継続的な監視とアラート生成が可能な車両搭載システムを実装する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムでの瞳の追跡が、十分な精度（90%以上）とフレームレート（5 fps以上）を満たすことで、ドライバーの注意喚起状態監視に適していると言えるか？
• RQ2 ハールおよびPCAベースの手法は、日中の照明条件下での瞳の検出にどの程度効果的か？
• RQ3 NIR照明を用いた夜間の瞳の検出において、LBPベースの特徴抽出の性能はいかがであるか？
• RQ4 リアルタイム動画処理において、PERCLOS指標はドライバーの疲労度をどの程度正確に反映しているか？
• RQ5 提案されたシステムは、継続的かつ信頼性の高い注意喚起状態推定を実現するため、車両搭載に効果的に導入可能か？

主な発見

• 本システムは、昼間および夜間の両方の条件下で、瞳の検出精度が90%を超えた。
• フレームレートは5 fpsを上回り、車両搭載アプリケーションにおけるリアルタイム処理要件を満たした。
• ハール、PCA、およびLBPベースの手法の組み合わせにより、照明条件の変化に強い性能が実現された。
• PERCLOS測定がリアルタイムで計算可能となり、早期の疲労検出が可能になった。
• 疲労関連の事故を防止するため、車両搭載ドライバー監視システムへの統合の可能性が示された。
• アクティブなNIR照明は、夜間の運用における瞳の検出信頼性を顕著に向上させた。