[論文レビュー] Labelled pupils in the wild: a dataset for studying pupil detection in unconstrained environments

Marc Tonsen, Xucong Zhang+2 more|arXiv (Cornell University)|Mar 14, 2016

Gaze Tracking and Assistive Technology参考文献 8被引用数 69

ひとこと要約

本論文では、多様な実世界の環境下で撮影された22名の参加者から得られた66本の高フレームレート（95 FPS）の瞳孔領域動画から構成される、Labelled Pupils in the Wild（LPW）データセットを紹介する。このデータセットにより、制約のない条件下での瞳孔検出アルゴリズムのベンチマークが可能となり、照明、視覚補助具、解像度に関する重要な課題が明らかになった。

ABSTRACT

We present labelled pupils in the wild (LPW), a novel dataset of 66 high-quality, high-speed eye region videos for the development and evaluation of pupil detection algorithms. The videos in our dataset were recorded from 22 participants in everyday locations at about 95 FPS using a state-of-the-art dark-pupil head-mounted eye tracker. They cover people of different ethnicities and a diverse set of everyday indoor and outdoor illumination environments, as well as natural gaze direction distributions. The dataset also includes participants wearing glasses, contact lenses, and make-up. We benchmark five state-of-the-art pupil detection algorithms on our dataset with respect to robustness and accuracy. We further study the influence of image resolution and vision aids as well as recording location (indoor, outdoor) on pupil detection performance. Our evaluations provide valuable insights into the general pupil detection problem and allow us to identify key challenges for robust pupil detection on head-mounted eye trackers.

研究の動機と目的

• 自然環境下での瞳孔検出アルゴリズムの評価に向けた、現実的で制約のないデータセットの不足を解消すること。
• 多様な民族的背景を持つ参加者から、さまざまな照明および環境条件下で高品質な眼球追跡データを収集すること。
• 最先端の瞳孔検出アルゴリズムの耐障害性と正確性を、現実世界の変動要因を考慮して評価すること。
• 画像解像度、視覚補助具（眼鏡、コンタクトレンズ、メイク）および録画場所（屋内／屋外）が検出性能に与える影響を調査すること。

提案手法

• 自然な屋内および屋外環境下で、暗黒瞳孔型ヘッドマウント型眼球追跡装置を用いて、66本の高フレームレート（95 FPS）の眼領域動画を収集した。
• 眼鏡、コンタクトレンズ、メイクを装用している参加者を含む、多様な民族的背景を持つ22名の参加者からデータを収集した。
• 訓練および評価のための検出アルゴリズムに適した正確な瞳孔の真値を、すべての動画に対してアノテーションした。
• さまざまな条件下で、5つの最先端の瞳孔検出アルゴリズムをこのデータセット上でベンチマークした。
• 解像度レベル、視覚補助具、環境設定（屋内対屋外）の各条件下で、性能を体系的に評価した。
• 標準的な指標を用いて、正確性と耐障害性を評価し、現実世界への一般化性能に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 最先端の瞳孔検出アルゴリズムは、現実的で制約のない眼球追跡データに対してどのように性能を発揮するか？
• RQ2 画像解像度を変化させた場合、瞳孔検出の正確性と耐障害性にどのような影響を与えるか？
• RQ3 眼鏡、コンタクトレンズ、メイクなどの視覚補助具は、瞳孔検出性能にどのような影響を及ぼすか？
• RQ4 録画場所（屋内対屋外）の違いが、検出の信頼性にどのように影響するか？
• RQ5 自然で制約のない条件下で、耐障害性のある瞳孔検出を達成する上で、どのような主要な課題が存在するか？

主な発見

• 特に動的照明に最適化されていないアルゴリズムでは、低照度および高グレアの屋外条件下で瞳孔検出性能が著しく低下する。
• 眼鏡やメイクなどの視覚補助具が顕著な課題を引き起こし、装用者では検出正確性が顕著に低下する。
• 高い画像解像度は検出正確性を向上させるが、ある閾値を超えると利得が減少し、リターン逓減の傾向が見られる。
• 制約のあるデータセットで訓練されたアルゴリズムは、LPWデータセットでは性能を発揮しないことが明らかになり、より多様な訓練データの必要性が示された。
• 屋外録画では、予測不能な照明変動や運動の影響により、検出性能のばらつきが大きくなった。
• このデータセットは、現在のアルゴリズムが、特に自然に動く被験者において、遮蔽や鏡面反射の処理に苦労していることを明らかにした。