[論文レビュー] Appearance-Based Gaze Estimation via Gaze Decomposition and Single Gaze Point Calibration.

Zhaokang Chen, Bertram E. Shi|arXiv (Cornell University)|May 11, 2019

Gaze Tracking and Assistive Technology参考文献 43被引用数 6

ひとこと要約

本論文は、被験者に依存するバイアス成分と被験者に依存しない差分成分に gaze 角を分解する、新しい外見ベースの注視方向推定手法を提案する。深層畳み込みニューラルネットワーク（CNN）を用いて差分成分を推定する。1点キャリブレーションを用いることで、最大35.6%の誤差低減を達成し、3つのデータセットにおいて最先端の性能を示し、キャリブレーションフリー手法を最大10.0%上回る。

ABSTRACT

Appearance-based gaze estimation provides relatively unconstrained gaze tracking. However, subject-indepen\-dent models achieve limited accuracy partly due to individual variations. To improve estimation, we propose a novel gaze decomposition method and a single gaze point calibration method, motivated by our finding that the inter-subject squared bias exceeds the intra-subject variance for a subject-independent estimator. We decompose the gaze angle into a subject-dependent bias term and a subject-independent difference term between the gaze angle and the bias. The difference term is estimated by a deep convolutional network. For calibration-free tracking, we set the subject-dependent bias term to zero. For single gaze point calibration, we estimate the bias from a few images taken as the subject gazes at a point. Experiments on three datasets indicate that as a calibration-free estimator, the proposed method outperforms the state-of-the-art methods that use single model by up to $10.0\%$. The proposed calibration method is robust and reduces estimation error significantly (up to $35.6\%$), achieving state-of-the-art performance for appearance-based eye trackers with calibration.

研究の動機と目的

• 被験者間の目の外見や注視パターンの差異による、被験者に依存しない注視方向推定の精度制限を解消する。
• 被験者に依存しない推定器において、被験者間の二乗バイアスが被験者内分散を上回るという課題を克服する。
• 個々の被験者に対するキャリブレーションを必要とせず、高い精度を維持するキャリブレーションフリーの注視方向推定手法を開発する。
• 注視方向推定誤差を顕著に低減する、効果的な1点注視方向キャリブレーション技術を導入する。
• 最小限のキャリブレーションデータで、外見ベースの注視方向追跡において最先端の性能を達成する。

提案手法

• 注視方向角を被験者に依存するバイアス項と、被験者に依存しない差分項に分解し、差分項はバイアスからの逸脱を表す。
• 深層畳み込みニューラルネットワーク（CNN）を用いて、目の画像外見から被験者に依存しない差分項を推定する。
• キャリブレーションフリーの追跡では、被騟能者に依存するバイアス項をゼロに設定し、CNNが推定する差分項に依存する。
• 1点注視方向キャリブレーションでは、被験者が1点に注視している数枚の画像から被験者に依存するバイアスを推定する。
• 推定されたバイアスを用いてネットワーク出力を補正し、全体の推定誤差を低減する。
• 分解を活用して、個々の被験者に特有のバイアスを一般の注視パターンから分離し、効率的なキャリブレーションと一般化性能の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 外見ベースの注視方向推定において、被験者に依存するバイアスを明示的にモデル化することで、推定精度を向上させることができるか？
• RQ2 注視方向角をバイアスと差分の2成分に分離することで、被験者間での一般化性能が向上するか？
• RQ3 1点注視方向キャリブレーションは、キャリブレーションフリー手法と比較して、推定誤差低減にどの程度効果的か？
• RQ4 深層畳み込みニューラルネットワーク（CNN）は、目の画像のみから被験者に依存しない差分項を効果的に推定できるか？
• RQ5 提案手法は、既存の最先端のキャリブレーションフリーおよびキャリブレーション済みの注視方向推定システムと比較して、どの程度の性能向上を達成できるか？

主な発見

• 提案されたキャリブレーションフリー手法は、3つのデータセットにおいて、最先端のキャリブレーションフリー手法を最大10.0%上回る推定精度を達成する。
• 1点注視方向キャリブレーションにより、推定誤差が最大35.6%低減され、キャリブレーションフリーのベースラインに比べて顕著な性能向上が実現された。
• 最小限のキャリブレーションデータで、外見ベースの注視方向追跡において最先端の性能を達成した。
• 被験者間の二乗バイアスが被験者内分散を上回ることを確認し、被験者に依存するバイアスのモデル化が、被験者に依存しない推定において必要であることを裏付けた。
• 注視方向分解フレームワークにより、被験者1人あたり1点のキャリブレーションで安定した性能が得られ、高いキャリブレーション効率を示した。