[論文レビュー] IMAGE BASED EYE GAZE TRACKING AND ITS APPLICATIONS

Anjith George|arXiv (Cornell University)|Jan 1, 2017

Gaze Tracking and Assistive Technology参考文献 157被引用数 2

ひとこと要約

本稿では、市販のWebカメラおよびヘッドマウントカメラを用い、二段階の虹彩中心位置特定アルゴリズムとCNNベースの視線分類器を活用することで、動きぼけ、グリント、照明の変動といった困難な条件下でもリアルタイムでユーザーに依存しない視線推定を実現する低コストで頑丈な視線追跡システムを提案する。主な貢献は、ユーザー特有のキャリブレーションを不要とする完全に画像ベースのフレームワークを構築したことである。このフレームワークは、生体認証やエゴセントリックな行動認識への応用を可能にする。

ABSTRACT

Eye movements play a vital role in perceiving the world. Eye gaze can give a direct indication of the users point of attention, which can be useful in improving human-computer interaction. Gaze estimation in a non-intrusive manner can make human-computer interaction more natural. Eye tracking can be used for several applications such as fatigue detection, biometric authentication, disease diagnosis, activity recognition, alertness level estimation, gaze-contingent display, human-computer interaction, etc. Even though eye-tracking technology has been around for many decades, it has not found much use in consumer applications. The main reasons are the high cost of eye tracking hardware and lack of consumer level applications. In this work, we attempt to address these two issues. In the first part of this work, image-based algorithms are developed for gaze tracking which includes a new two-stage iris center localization algorithm. We have developed a new algorithm which works in challenging conditions such as motion blur, glint, and varying illumination levels. A person independent gaze direction classification framework using a convolutional neural network is also developed which eliminates the requirement of user-specific calibration. In the second part of this work, we have developed two applications which can benefit from eye tracking data. A new framework for biometric identification based on eye movement parameters is developed. A framework for activity recognition, using gaze data from a head-mounted eye tracker is also developed. The information from gaze data, ego-motion, and visual features are integrated to classify the activities.

研究の動機と目的

• 標準的なWebカメラおよびヘッドマウントカメラを用いた低コストで侵襲性のない視線追跡システムの開発。
• 個々のキャリブレーションを必要としないユーザーに依存しない視線追跡の実現。
• 動きぼけ、グリント、照明の変動といった実世界の条件下での耐性の向上。
• 視線データを生体認証およびエゴセントリックな行動認識システムに統合。
• リアルタイムな視線方向分類を実現する畳み込みニューラルネットワークベースの分類器の開発。

提案手法

• 視線推定の精度向上を目的とした二段階の虹彩中心位置特定アルゴリズムの提案。
• 最小限のハードウェア要件で、目の端と虹彩中心を用いた視線追跡フレームワークの構築。
• 動きぼけ、グリント、照明変化に対して耐性を持つ新しいアルゴリズムを備えたヘッドマウント型視線追跡装置の適用。
• ユーザー特有のキャリブレーションを不要とするリアルタイムな視線方向分類のためのCNNベースの分類器の活用。
• エゴモーションと視覚特徴とを視線データと統合し、エゴセントリックな行動認識を実現。
• 固定点とショックの特徴を用いたスコア統合手法の開発により、眼動作用の生体認証を強化。

実験結果

リサーチクエスチョン

• RQ1 画像ベースの手法と市販のカメラのみを用いて、耐障害性がありユーザーに依存しない視線追跡システムを開発可能か？
• RQ2 動きぼけやグリントといった困難な視覚的条件下でも、視線推定を正確かつリアルタイムに実現するにはどうすればよいか？
• RQ3 従来の虹彩認識と組み合わせた場合、眼動作用のパラメータをどれだけ向上させることができるか？
• RQ4 従来のセンサが失敗する屋内環境において、ヘッドマウント型トラッカーからの視線データは行動認識の精度向上にどの程度寄与するか？
• RQ5 CNNベースの分類器は、リアルタイムでキャリブレーションなしに視線方向分類を達成するのにどの程度有効か？

主な発見

• 提案された二段階の虹彩中心位置特定アルゴリズムは、照明の変動や運動状態下でも視線追跡の精度を向上させる。
• ユーザー特有のキャリブレーションを必要とせず、CNNベースのアプローチによりリアルタイムな視線方向分類を実現した。
• フレームワークは、屋外や困難な環境でも頑健な性能を示し、動きぼけやグリントに対しても耐性がある。
• 視線、エゴモーション、視覚特徴を統合することで、屋内環境における行動認識の精度が向上した。
• 固定点とショックの特徴を用いたスコア統合手法により、生体認証の性能が向上し、組み込みの生体確認機能（生きているかの検出）が可能になった。
• 低コストのハードウェアと高い耐障害性のおかげで、本システムは消費者向けアプリケーションへの実用的導入を可能にした。