[論文レビュー] APPD: Adaptive and Precise Pupil Boundary Detection using Entropy of Contour Gradients

Cihan Topal, Halil İbrahim Çakir+1 more|arXiv (Cornell University)|Sep 19, 2017

Gaze Tracking and Assistive Technology参考文献 45被引用数 3

ひとこと要約

本稿では、輪郭勾配のエントロピーを用いて近円形の虹彩断片が存在するかどうかを判断することで、可視時には高速な検出、遮蔽時には包括的な特徴解析にフォールバックする、適応的で高精度な虹彩境界検出手法であるAPPDを提案する。この手法は720p画像において平均5ms未満の実行時間を達成し、遮蔽下でも最先端の手法を上回る精度と耐障害性を示した。

ABSTRACT

Eye tracking spreads through a vast area of applications from ophthalmology, assistive technologies to gaming and virtual reality. Precisely detecting the pupil's contour and center is the very first step in many of these tasks, hence needs to be performed accurately. Although detection of pupil is a simple problem when it is entirely visible; occlusions and oblique view angles complicate the solution. In this study, we propose APPD, an adaptive and precise pupil boundary detection method that is able to infer whether entire pupil is in clearly visible by a heuristic that estimates the shape of a contour in a computationally efficient way. Thus, a faster detection is performed with the assumption of no occlusions. If the heuristic fails, a more comprehensive search among extracted image features is executed to maintain accuracy. Furthermore, the algorithm can find out if there is no pupil as an helpful information for many applications. We provide a dataset containing 3904 high resolution eye images collected from 12 subjects and perform an extensive set of experiments to obtain quantitative results in terms of accuracy, localization and timing. The proposed method outperforms three other state of the art algorithms and has an average execution time $\sim$5 ms in single-thread on a standard laptop computer for 720p images.

研究の動機と目的

• 遮蔽や斜め視点に対しても耐性のある高速で高精度な虹彩境界検出手法の開発。
• 非遮蔽状態ではフル特徴解析をスキップすることで計算コストを低減する。
• 虹彩が部分的に遮蔽されたり完全に見えなくても高い精度を維持する。
• VR、眼動追跡、バイオメトリクスなどの応用分野において、標準ハードウェア上でリアルタイム展開を可能にする。
• ベンチマーク用に公開可能な3,904枚の高解像度眼画像からなるデータセットの提供。

提案手法

• 本手法は、エッジの輪郭に沿った勾配分布のエントロピーを分析することで、近円形の断片が存在するかを検出する。
• 近円形の断片が検出された場合、アルゴリズムは抽出された楕円弧のみを用いて高速な虹彩検出を実行する。
• そのような断片が検出されない場合、アルゴリズムは全エッジ断片を走査して楕円弧を抽出するフル検索を実行する。
• 楕円弧はRANSACベースのアプローチを用いてフィッティングされ、虹彩境界と中心座標が推定される。
• 勾配エントロピーに基づくヒューリスティックにより、高速モードまたは包括的モードの選択がなされ、適応的性能が実現される。
• アルゴリズムには虹彩が存在しないことを検出する最終チェックが含まれており、バイオメトリクスや診断応用に役立つ。

実験結果

リサーチクエスチョン

• RQ1 勾配エントロピー解析は、近円形の虹彩断片を信頼性高く同定でき、より高速な検出を可能にするか？
• RQ2 遮蔽状態でも精度を損なわず、適応的モード選択が性能をどのように向上させるか？
• RQ3 フル特徴解析と選択的検出の間で、速度と精度のトレードオフはどのようなものか？
• RQ4 本手法は、標準ラップトップ上で高解像度眼画像に対してリアルタイム性能を達成できるか？
• RQ5 局所化精度と実行時間の観点から、最先端の虹彩検出アルゴリズムと定量的に比較して、本手法はどのように差をつけるか？

主な発見

• 標準ラップトップ上で720p画像1枚あたり平均約5msの実行時間を達成し、最大185Hzのリアルタイム動作を可能にした。
• 非遮蔽状態ではフルアーキの抽出を回避することで計算量を48%削減し、平均実行時間が3.82msに低下した。
• 遮蔽状況下でも、3つの最先端手法を上回る精度と局所化性能を示した。
• テストケースの98.7%で虹彩の欠如を正しく同定し、バイオメトリクスや医療応用に貴重なフィードバックを提供した。
• 12名の被験者から得た3,904枚の高解像度眼画像からなる提案データセットにより、多様な条件下での強固な定量的評価が可能になった。
• 実行時間の内訳から、ROI検出が最もコストが高く（全時間の約50％）、遮蔽が生じた場合のフォールバック虹彩検出フェーズが次に続くことが分かった。