[論文レビュー] PupilNet: Convolutional Neural Networks for Robust Pupil Detection

Wolfgang Fuhl, Thiago Santini+2 more|arXiv (Cornell University)|Jan 19, 2016

Gaze Tracking and Assistive Technology参考文献 23被引用数 119

ひとこと要約

デュアル-stage畳み込みニューラルネットワークパイプラインは、最先端手法を上回り、特に実世界条件下で優れるリアルタイムの頑健な瞳孔検出を実現します。

ABSTRACT

Real-time, accurate, and robust pupil detection is an essential prerequisite for pervasive video-based eye-tracking. However, automated pupil detection in real-world scenarios has proven to be an intricate challenge due to fast illumination changes, pupil occlusion, non centered and off-axis eye recording, and physiological eye characteristics. In this paper, we propose and evaluate a method based on a novel dual convolutional neural network pipeline. In its first stage the pipeline performs coarse pupil position identification using a convolutional neural network and subregions from a downscaled input image to decrease computational costs. Using subregions derived from a small window around the initial pupil position estimate, the second pipeline stage employs another convolutional neural network to refine this position, resulting in an increased pupil detection rate up to 25% in comparison with the best performing state-of-the-art algorithm. Annotated data sets can be made available upon request.

研究の動機と目的

• 自然環境下でのビデオベースのアイトラッキングにおける頑健でリアルタイムな瞳孔検出を動機づける。
• ノイズを低減し瞳孔位置推定を精練する2段階のCNNパイプラインを提案する。
• GPUを必要とせず、モバイルアイトラッカーに適した効率的な計算を実現する。
• 実世界のアーティファクトを含む大規模で難易度の高いデータセット上で手法を評価する。

提案手法

• 入力画像をダウンサケールし、重複する24x24のサブ領域に分割する。
• Stage 1:浅いCNNがサブ領域を評価して粗い瞳孔位置を生成する（0-1の評価）。
• Stage 2: 粗い位置周辺の元画像で89x89領域をサンプリングし、二番目のCNNで精練する。
• トレーニングは固定学習率の教師ありバッチ勾配降下法を用いる。正規化は行わない。
• オンライン瞳孔中心検出のためのオンラインデータ生成ワークフローを提供する。

実験結果

リサーチクエスチョン

• RQ1 照明変化、遮蔽、反射などに対して瞳孔検出の頑健性を向上させるデュアル-CNNパイプラインは有効か？
• RQ2 粗い位置決定から細部定位への階層的手法は計算量を削減しつつ精度を維持または向上させるか？
• RQ3 提案手法は難易度の高い実世界データセット上で最先端の瞳孔検出アルゴリズムとどのように比較されるか？

主な発見

• デュアルステージCNNパイプラインは、難易度の高い実世界データにおいて最先端手法より高い瞳孔検出率を示す。
• 細定位CNNs FK8P8 および SK8P8 は、最高性能の最先端アルゴリズムをそれぞれ約25%および約15%上回る。
• CK8P8構成による粗定位は性能向上を提供し、より良い結果のために長い学習（ext）で拡張可能。
• このアプローチはGPUを必要とせず、一般的なモバイルCPUハードウェアでリアルタイム性を実現する。