[論文レビュー] ESCaF: Pupil Centre Localization Algorithm with Candidate Filtering

Anjith George, Aurobinda Routray|arXiv (Cornell University)|Jul 27, 2018

Gaze Tracking and Assistive Technology参考文献 14被引用数 5

ひとこと要約

本稿では、実世界の状況下における近赤外（NIR）画像における瞳孔中心のロバストな局所化アルゴリズムであるESCaFを提案する。強度とエッジ情報の融合に加え、マルチステージの候補フィルタリング手法とトラッキング機構を組み合わせることで、大規模なLabelled Pupil in the Wild（LPW）データセットにおいて、最先端の精度とリアルタイム性能を達成した。1フレームあたりの平均処理時間は9.9 msであった。

ABSTRACT

Algorithms for accurate localization of pupil centre is essential for gaze tracking in real world conditions. Most of the algorithms fail in real world conditions like illumination variations, contact lenses, glasses, eye makeup, motion blur, noise, etc. We propose a new algorithm which improves the detection rate in real world conditions. The proposed algorithm uses both edges as well as intensity information along with a candidate filtering approach to identify the best pupil candidate. A simple tracking scheme has also been added which improves the processing speed. The algorithm has been evaluated in Labelled Pupil in the Wild (LPW) dataset, largest in its class which contains real world conditions. The proposed algorithm outperformed the state of the art algorithms while achieving real-time performance.

研究の動機と目的

• 照明の変動、運動ぼかし、遮蔽といった実世界の課題に耐性を持つ、ロバストな瞳孔中心局所化アルゴリズムの開発。
• 専用の光学機器や照明装置に依存しないようにすることで、市販のWebカメラと赤外LEDでの動作を可能にする。
• 強度とエッジ特徴のハイブリッドアプローチにより、検出精度と処理速度の両方を向上させる。
• 単純ながらも効果的な瞳孔トラッキング機構を統合することで、検出の安定性を向上させ、計算負荷を低減する。
• 大規模で多様な実世界データセットを用いてアルゴリズムを評価し、実用性を実証する。

提案手法

• アルゴリズムは二段階のアプローチを採用：まず勾配に基づく手法でエッジを検出し、次に強度分布を分析して潜在的な瞳孔候補を特定する。
• マルチステージの候補フィルタリングプロセスにより、各候補に対してエッジ強度と強度の一様性を組み合わせた良さ関数を評価し、最良の推定値を選択する。
• 画像状態に応じて、エッジベースと強度ベースの検出の間で動的に切り替えが可能であり、これにより耐性が向上する。
• トラッキング機構を統合することで、後続のフレームにおける探索範囲を制限し、処理速度と検出の安定性を向上させる。
• スケールスペース解析を用いて候補選定を精緻化し、局所化精度を向上させる。
• 実装にはPythonを採用しており、C++への最適化を想定することで、さらなる実行時間の短縮が可能である。

実験結果

リサーチクエスチョン

• RQ1 照明の変化や遮蔽といった実世界の条件下でも、瞳孔中心局所化アルゴリズムが高精度を維持できるか。
• RQ2 強度とエッジ特徴を効果的に統合することで、瞳孔検出の耐性をどのように向上させられるか。
• RQ3 直接楕円フィッティングと比較して、候補フィルタリング機構が検出精度にどの程度寄与するか。
• RQ4 トラッキング機構を統合することで、動画シーケンスにおける処理速度と検出の安定性がどの程度向上するか。
• RQ5 大規模で実世界の状況を反映したデータセット上で、SOTA手法を上回りながらもリアルタイム性能を維持できるか。

主な発見

• ESCaFは、瞳孔中心局所化のための最大規模の実世界データセットであるLabelled Pupil in the Wild（LPW）データセットにおいて、すべてのSOTA手法を上回った。
• トラッキングを有効にした場合の平均処理時間は1フレームあたり9.9 ms、無効な場合は14.28 msであり、リアルタイム性能を満たしていることが示された。
• トラッキング機構により、探索範囲が制限されたことで計算負荷が低減され、検出率が向上した。
• エッジベースと強度ベースの検出を切り替えるハイブリッドアプローチにより、反射やぼかしによる片方のモダリティの失敗に対しても耐性が確保された。
• 強度ベースのフィルタリング段階が、エッジ検出に失敗した場合の検出回復に成功し、誤検出を低減した。
• 特殊なハードウェアを搭載していなくても、運動ぼかし、コンタクトレンズ、化粧、反射といった実世界の課題に対して高い耐性を示した。