[論文レビュー] Unobtrusive Low Cost Pupil Size Measurements using Web cameras

Sergios Petridis, Θεόδωρος Γιαννακόπουλος+1 more|arXiv (Cornell University)|Nov 28, 2013

Gaze Tracking and Assistive Technology参考文献 11被引用数 5

ひとこと要約

本稿では、フィルタベースのアプローチにより虹彩および瞳孔領域を検出することによって、標準のウェブカメラを用いたリアルタイムの瞳孔径推定のための低コストで非侵襲的な手法を提示する。この手法は、瞳孔径推定において85%の精度（平均誤差0.9mm）を達成し、日常的な環境下での高齢化、疲労、感情状態の長期的健康モニタリングに十分な性能を示す。

ABSTRACT

Unobtrusive every day health monitoring can be of important use for the elderly population. In particular, pupil size may be a valuable source of information, since, apart from pathological cases, it can reveal the emotional state, the fatigue and the ageing. To allow for unobtrusive monitoring to gain acceptance, one should seek for efficient methods of monitoring using com- mon low-cost hardware. This paper describes a method for monitoring pupil sizes using a common web camera in real time. Our method works by first detecting the face and the eyes area. Subsequently, optimal iris and sclera location and radius, modelled as ellipses, are found using efficient filtering. Finally, the pupil center and radius is estimated by optimal filtering within the area of the iris. Experimental result show both the efficiency and the effectiveness of our approach.

研究の動機と目的

• 低コストの消費者用ハードウェアを用いて、高齢者の非侵襲的かつ長期的な生理的モニタリングを可能にすること。
• 標準のウェブカメラから得られる低解像度の可視光スペクトル動画における正確な瞳孔径推定の課題に対処すること。
• 専用の赤外線画像撮影を必要とせず、虹彩および瞳孔の中心と半径を同時に検出する耐障害性の高い非教師あり手法の開発。
• 手動アノテーションが施された新規に構築されたデータセットを用いて、瞳孔領域および径の推定性能を評価すること。
• 一般的なウェブカメラを用いて、日常的な健康モニタリングにおいて信頼性が高くリアルタイムな瞳孔測定が可能であることを実証すること。

提案手法

• 顔検出は、50fps以上で高速かつ高精度に顔および目の領域を局所化できるSHORE TMシステムを用いて実施される。
• 虹彩および隅球（sclera）の検出は、目の領域に適用される線形フィルタのバンクを用いて実現され、半径、明度、彩度、対称性の最適化が行われる。
• 明度ベースのスコアリングを用い、明るい隅球に対して暗い虹彩領域を強調するため、虹彩、隅球、皮膚の3領域マスクを正規化された重みで使用する。
• 検出された虹彩領域内で最適フィルタリングを用いて瞳孔の中心および半径を推定し、再帰的フィルタリングにより誤差を最小化する。
• 明度、彩度、対称性を組み合わせたスコア関数を用いて、虹彩および瞳孔の境界検出の信頼性を最大化する。
• 瞳孔径推定は、50枚の手動アノテーションが施された1280×960の画像から構成されるカスタムデータセットを用いて検証され、アノテーター間の一貫性はF1スコア、適合率、再現率で測定される。

実験結果

リサーチクエスチョン

• RQ1 低コストの可視光スペクトルウェブカメラは、赤外線照明を用いずに正確かつ信頼性の高い瞳孔径推定を達成できるか？
• RQ2 提案手法のフィルタベースのアプローチは、最新の目および虹彩検出技術と比較して、中心および半径の推定精度においてどのように差をつけるか？
• RQ3 瞳孔径検出性能が、疲労や感情状態に関連する生理的変化を検出するのにどの程度十分であるか？
• RQ4 手動アノテーションが施されたデータセット上で、本手法の瞳孔径推定精度は人間のアノテーターの性能と比較してどの程度か？
• RQ5 本手法は、標準の消費者用ウェブカメラを用いて、長期的かつ非侵襲的な生理的状態のモニタリングを可能にするか？

主な発見

• 虹彩中心検出において、本手法は99%の許容誤差ベースの精度（T=0.25）を達成し、大多数の既存手法を上回り、文献に記載された最高水準に匹敵する。
• 瞳孔径推定に関しては、平均F1スコアが67%であり、これはアノテーター間一貫性（79%）より12%低いが、人間水準の高い一貫性を示している。
• 本手法は、瞳孔径を85%の精度で推定でき、6mmの瞳孔に対して平均誤差が0.9mmであり、臨床的に有意義な変化の閾値（2mm）をはるかに下回っている。
• 本手法は、目の色や照明の変化に対しても耐性があり、データセットに含まれる多様な目のタイプにおいて一貫した性能を示している。
• 本手法は、標準のウェブカメラを用いてリアルタイムで非教師ありかつ低コストの瞳孔測定が可能であり、長期的健康モニタリング用途に適している。
• 本研究では、瞳孔領域全体のアノテーションが提供されている公開データセットの不足が浮き彫りになったため、評価用に50枚の手動アノテーションが施された画像から構成される新規データセットを構築し、公開した。