[論文レビュー] Labeled pupils in the wild: A dataset for studying pupil detection in unconstrained environments

Marc Tonsen, Xucong Zhang+2 more|MPG.PuRe (Max Planck Society)|Nov 18, 2015

Gaze Tracking and Assistive Technology参考文献 6被引用数 36

ひとこと要約

本論文では、屋内および屋外の実環境で約95 FPSで記録された22名の参加者から得られた66本の眼領域動画からなる、高品質で高速なLabeled Pupils in the Wild (LPW) データセットを紹介する。このデータセットにより、照明、眼鏡、化粧、解像度制約などの現実的な要因を想定した瞳孔検出アルゴリズムのベンチマーク評価が可能となり、性能の著しい低下が明らかになった。

ABSTRACT

We present labelled pupils in the wild (LPW), a novel dataset of 66 high-quality, high-speed eye region videos for the development and evaluation of pupil detection algorithms. The videos in our dataset were recorded from 22 participants in everyday locations at about 95 FPS using a state-of-the-art dark-pupil head-mounted eye tracker. They cover people with different ethnicities, a diverse set of everyday indoor and outdoor illumination environments, as well as natural gaze direction distributions. The dataset also includes participants wearing glasses, contact lenses, as well as make-up. We benchmark five state-of-the-art pupil detection algorithms on our dataset with respect to robustness and accuracy. We further study the influence of image resolution, vision aids, as well as recording location (indoor, outdoor) on pupil detection performance. Our evaluations provide valuable insights into the general pupil detection problem and allow us to identify key challenges for robust pupil detection on head-mounted eye trackers.

研究の動機と目的

• ヘッドマウント型眼追跡システムにおける瞳孔検出の評価に用いられる大規模で現実的なデータセットの不足を解消すること。
• 多様な照明条件、人種、視力補助具（眼鏡、コンタクトレンズ）、化粧をカバーするベンチマークデータセットを提供すること。
• 現実の環境下で最先端の瞳孔検出アルゴリズムを評価し、主な性能課題を特定すること。
• 画像解像度、屋外対屋内記録、視力補助具の有無が検出精度に与える影響を調査すること。

提案手法

• 自然な屋内および屋外環境で、暗黒瞳孔型ヘッドマウント眼追跡装置を用いて、22名の参加者から66本の高スルーレート眼領域動画（640×480、約95 FPS）を記録した。
• 人種、瞳の色、顔の輪郭、眼鏡や化粧の使用など、多様なデモグラフィック要因をカバーしたデータ収集を実施した。
• 評価のための真値を作成するため、すべてのフレームを正確な瞳孔楕円および中心位置で手動アノテーションした。
• 平均検出誤差や累積誤差分布などの指標を用いて、5つの最先端の瞳孔検出アルゴリズムをこのデータセット上で評価した。
• 解像度（480pから240pまで）の影響、屋外対屋内シーン、眼鏡・化粧の有無に関するアブレーションスタディを実施した。
• 異なる解像度間での公平な比較を可能にするために、誤差指標を画像幅で正規化した。

実験結果

リサーチクエスチョン

• RQ1 現在の瞳孔検出アルゴリズムは、多様な照明条件や外見的要因を伴う大規模な実世界データセットにおいて、どの程度の性能を示すか？
• RQ2 直射日光や影を含む屋外の照明が、瞳孔検出の正確性にどのような影響を与えるか？
• RQ3 眼鏡や化粧といった視力補助具が、既存の瞳孔検出手法のロバストネスにどのような影響を与えるか？
• RQ4 瞳孔検出に最適な画像解像度は何か？また、低解像度での性能低下はどの程度か？
• RQ5 屋内と屋外の記録環境における瞳孔検出アルゴリズムの性能に、どのような差が生じるか？

主な発見

• 屋外シーンでは、誤差が50px未満の検出が約50％にとどまる一方、屋内では60％に上昇し、自然光下での性能の著しい低下が明らかになった。
• 眼鏡をかけた参加者がいたことで、すべての評価対象アルゴリズムで顕著な性能低下が生じ、強い反射や部分的な瞳孔の遮蔽が主な課題となった。
• 化粧は検出に顕著に悪影響を及めた。特に、大きな暗黒領域や明確なエッジを検出することを目的としたアルゴリズムは、化粧を瞳孔と誤認する傾向にあった。
• IsophoteおよびGradient検出器は、内部で80×35にダウンサンプリングしているため、解像度にかかわらず一貫した性能を示したが、他のアルゴリズムは低解像度で性能が低下した。
• 驚くべきことに、SwirskiおよびExCuSeは480pよりも240pでより良い性能を示した。これは、高解像度がノイズを増幅させ、性能に悪影響を及える可能性を示唆している。
• 挑戦的な条件下では、どのアルゴリズムも半数未満のケースで十分な正確性を達成できず、現在の手法に根本的な限界があることが浮き彫りになった。