[論文レビュー] ElSe: Ellipse Selection for Robust Pupil Detection in Real-World Environments

Wolfgang Fuhl, Thiago Santini+2 more|arXiv (Cornell University)|Nov 20, 2015

Gaze Tracking and Assistive Technology被引用数 42

ひとこと要約

ElSeは、エッジフィルタリング、楕円評価、検証を用いることで、反射、可変照明、オフアングルのカメラアングルなどの困難な現実世界の条件下でも検出精度を向上させる、頑健でリアルタイムな虹彩検出アルゴリズムである。自然環境からの手動ラベル付与済み94,713枚の眼画像から構成されるデータセットにおいて、既存で最も優れた手法ExCuSeよりも平均14.53%の検出率向上を達成した。

ABSTRACT

Fast and robust pupil detection is an essential prerequisite for video-based eye-tracking in real-world settings. Several algorithms for image-based pupil detection have been proposed, their applicability is mostly limited to laboratory conditions. In realworld scenarios, automated pupil detection has to face various challenges, such as illumination changes, reflections (on glasses), make-up, non-centered eye recording, and physiological eye characteristics. We propose ElSe, a novel algorithm based on ellipse evaluation of a filtered edge image. We aim at a robust, resource-saving approach that can be integrated in embedded architectures e.g. driving. The proposed algorithm was evaluated against four state-of-the-art methods on over 93,000 hand-labeled images from which 55,000 are new images contributed by this work. On average, the proposed method achieved a 14.53% improvement on the detection rate relative to the best state-of-the-art performer. download:ftp://[e-mail]. de (password:eyedata).

研究の動機と目的

• 可変照明、反射、オフアングルのカメラ位置といった現実世界の環境下で、既存の虹彩検出アルゴリズムの低い頑健性に対処すること。
• 車載用眼動追跡装置や手術支援デバイスなどの組み込みシステムに適した軽量でリアルタイムなアルゴリズムを開発すること。
• 今後の研究を支援するため、94,713枚の手動ラベル付与済み眼画像からなる公開可能で高品質なデータセットを構築すること。
• 動的で非ラボ環境下でも正確な自動虹彩検出を可能にすることで、眼動追跡データの手動後処理の必要性を減らすこと。

提案手法

• アルゴリズムは、眼画像からエッジを抽出するためにCannyエッジ検出器を適用し、その後、虹彩に類似した構造を強化するためのモルフォロジカルフィルタリングを実行する。
• 暗く円形の領域でエッジコントラストが高い部分を検出することで、候補となる虹彩領域を特定する畳み込みベースの粗い位置決め手法を用いる。
• エッジポイントから候補となる楕円の集合が生成され、アスペクト比、面積、半径の一貫性といった幾何的制約に基づいて最良の楕円が選択される。
• 明るさに基づく基準を用いて選択された楕円を検証し、真正の虹彩に対応していることを保証し、反射やノイズによる誤検出を排除する。
• 最小平均線距離、有効性閾値、半径スケーリングといった重要なパラメータを調整することで、検出精度と誤検出率のバランスをとる。
• 最終的な検証ステップとして、楕円が周囲の明るさプロファイルと整合しているかをチェックすることで、頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 反射や可変照明といった現実世界の条件下で、ElSeは最先端の虹彩検出アルゴリズムと比較してどのように性能を発揮するか？
• RQ2 有効性閾値、最小平均線距離、半径スケーリングといった重要なアルゴリズム的パラメータが、検出精度と誤検出率に与える影響は何か？
• RQ3 エッジフィルタリング、楕円フィッティング、幾何的検証の組み合わせが、挑戦的な非ラボ環境下の虹彩検出をどのように実現できるか？
• RQ4 提案されたアルゴリズムは、リアルタイム眼動追跡アプリケーションにおいて、手動データ後処理の必要性をどの程度低減できるか？

主な発見

• ElSeは、94,713枚の画像からなる全データセットにおいて、最も優れたベースライン手法ExCuSeよりも平均14.53%の検出率向上を達成した。
• 強い反射、オフアングルのカメラアングル、可変照明といった極端な状況下でも、ElSeはSET、Starburst、 Świrski et al.をすべてのテスト条件下で上回った。
• パラメータチューニングの結果、有効性閾値が検出率と誤検出率のトレードオフに最も大きな影響を与え、高い閾値にすることで誤検出率が低下するが、検出率はわずかに低下した。
• 半径スケーリングパラメータは実行時間に顕著な影響を与えたが、検出精度への影響は小さく、最適な値は速度と性能のバランスをとるのに適していた。
• 失敗事例の主な原因は、密集した小さな反射下でのエッジフィルタの破綻、または虹彩と周囲の皮膚とのコントラストが極端に高い場合であったが、これらの状況はデータセット内でまれであった。
• 著者らは、94,713枚の手動ラベル付与済み画像からなる完全なデータセットとElSeのソースコードを公開し、再現可能性および今後の現実世界の眼動追跡研究を支援した。