[論文レビュー] PupilNet v2.0: Convolutional Neural Networks for CPU based real time Robust Pupil Detection

Wolfgang Fuhl, Thiago Santini+3 more|arXiv (Cornell University)|Oct 30, 2017

Gaze Tracking and Assistive Technology被引用数 44

ひとこと要約

PupilNet v2.0 は、CPU でリアルタイムかつ耐障害性の高い瞳孔検出を実現する二段階型畳み込みニューラルネットワーク（CNN）パイプラインを提案する。最新の手法よりも最大9%高い検出精度を達成している。軽量で浅いCNNを用いて粗い瞳孔中心位置を推定し、その後に局所的な小さな領域で高精度な補正ネットワークを適用することで、単一コアCPUでも7msの推論時間でリアルタイム性能を達成している。また、反射、遮蔽、照明変化といった困難な実世界の状況に対しても対応可能である。

ABSTRACT

Real-time, accurate, and robust pupil detection is an essential prerequisite for pervasive video-based eye-tracking. However, automated pupil detection in realworld scenarios has proven to be an intricate challenge due to fast illumination changes, pupil occlusion, non-centered and off-axis eye recording, as well as physiological eye characteristics. In this paper, we approach this challenge through: I) a convolutional neural network (CNN) running in real time on a single core, II) a novel computational intensive two stage CNN for accuracy improvement, and III) a fast propability distribution based refinement method as a practical alternative to II. We evaluate the proposed approaches against the state-of-the-art pupil detection algorithms, improving the detection rate up to ~9% percent points on average over all data sets (~7% on one CPU core 7ms). This evaluation was performed on over 135,000 images: 94,000 images from the literature, and 41,000 new hand-labeled and challenging images contributed by this work (v1.0).

研究の動機と目的

• 実世界の環境において、広範で無自覚な動画ベース眼動追跡に適した、リアルタイム性、高精度、耐障害性を兼ね備えた瞳孔検出システムの開発。
• 照明変化、反射、遮蔽、非軸上眼位置、生理的変動といった瞳孔検出における主な課題への対処。
• 最小限の計算コストで高精度を達成し、GPUアクセラレーションを必要としない標準CPU上でのデプロイを可能にすること。
• 135,000枚の画像からなる大規模かつ多様なデータセット（うち41,000枚は新たに収集した困難な実世界のサンプル）を用いた評価。
• 再現可能性および今後の研究を促進するため、トレーニング済みモデル、コード、データを公開すること。

提案手法

• 二段階型CNNパイプライン：まず、縮小された画像パッチを処理する浅いCNNが粗い瞳孔中心位置の推定値を生成する。
• 次に、粗い推定値の周囲の小さな局所的ウィンドウ内で、より複雑なCNNが瞳孔位置を精密化し、ノイズと計算負荷を低減する。
• 軽量な代替手法として、確率分布に基づく補正手法を導入し、速度と精度のバランスをとる。
• 粗いネットワークはカーネルサイズ8×8、プーリングサイズ8×8（CK8P8）を用い、より高精度なバージョンは8×8カーネルに16×16プーリング（SK8P8）を用いる。
• 最終段階の補正では、SK8P8に対して21×21のサーチウィンドウ、CK8P8に対して49×49のウィンドウを用い、計算量を削減するため候補位置でのみ応答を計算する。
• すべてのモデルは、135,000枚の画像（うち41,000枚は実世界のアーティファクトを含む新規収集画像）からなる大規模で多様なデータセット上でエンドツーエンドにトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 二段階型CNNパイプラインは、実世界で困難な条件下でも、最新の手法よりも優れた瞳孔検出精度を達成できるか？
• RQ2 このようなパイプラインは、GPUアクセラレーションを必要とせず、単一コアCPUでもリアルタイムで動作するか？
• RQ3 確率分布に基づく軽量な補正手法は、完全な二段階ネットワークと比較して、精度と速度の両面でどのように性能を発揮するか？
• RQ4 提案手法は、反射、遮蔽、照明変化を含む多様な実世界の眼動追跡シナリオにどの程度一般化可能か？
• RQ5 本手法は、高精度な検出を維持しながら、普及型で埋め込み可能な眼動追跡システムに適した低計算コストを達成できるか？

主な発見

• 提案された二段階型CNN（F_{SK8P8}）は、5ピクセル誤差閾値において、すべてのデータセットで最新のSOTA手法（ElSe）よりも平均で約9ポイント高い検出精度を達成した。
• SK8P8ベースの手法は、最も困難な新規データセット（new V）で5ピクセル誤差が0.33にまで低下し、ElSe（0.57）やExCuSe（0.56）を大きく上回った。
• 軽量なSK8P8バージョンは、単一コアIntel i5-4570で7msの実行時間にまで短縮され、標準CPU上でのリアルタイム性能を実現した。
• F_{CKXPY}モデルは、最も困難なデータセット（XIV）で最高の平均検出率（0.95）を達成したが、計算コストが非常に高く（1.2秒/推論）、著しく高い負荷を伴った。
• 確率分布に基づく補正手法により、7msの推論時間でnew IVデータセットで5ピクセル誤差0.54を達成し、優れた速度-精度トレードオフを示した。
• 新規に収集した実世界データのnew Iデータセットでは、5ピクセル誤差が0.62にまで低下したのに対し、ベースラインのExCuSeは0.22にとどまらず、本手法の優れた耐障害性が裏付けられた。