[論文レビュー] It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation

Xucong Zhang, Yusuke Sugano+2 more|arXiv (Cornell University)|Nov 27, 2016

Gaze Tracking and Assistive Technology参考文献 29被引用数 6

ひとこと要約

本論文は、空間的に適応する重みを備えた畳み込みニューラルネットワークを用いて、情報量の多い顔領域を動的に強調する、フルフェイスの外見ベースの視線推定手法を提案する。本手法は最先端の性能を達成し、MPIIGazeでは3D視線推定精度を14.3%、EYEDIAPでは27.7%向上させ、極端な頭部ポーズや照明の変化下でも顕著な性能向上を示す。

ABSTRACT

Eye gaze is an important non-verbal cue for human affect analysis. Recent gaze estimation work indicated that information from the full face region can benefit performance. Pushing this idea further, we propose an appearance-based method that, in contrast to a long-standing line of work in computer vision, only takes the full face image as input. Our method encodes the face image using a convolutional neural network with spatial weights applied on the feature maps to flexibly suppress or enhance information in different facial regions. Through extensive evaluation, we show that our full-face method significantly outperforms the state of the art for both 2D and 3D gaze estimation, achieving improvements of up to 14.3% on MPIIGaze and 27.7% on EYEDIAP for person-independent 3D gaze estimation. We further show that this improvement is consistent across different illumination conditions and gaze directions and particularly pronounced for the most challenging extreme head poses.

研究の動機と目的

• フルフェイスの外見ベース手法が、視線推定において、目のみまたは複数領域に焦点を当てた手法を上回るかを調査すること。
• 照明の変化、頭部ポーズ、視線方向の変化の下で、視線推定に最も寄与する顔領域を特定すること。
• 明示的な領域アノテーションを必要とせず、空間的に変化する顔領域の重要性を効率的に符号化できる深層学習アーキテクチャを開発すること。
• 極端な頭部ポーズや方向照明などの困難な現実世界の条件下での手法の頑健性を評価すること。
• 人物に依存しない3D視線推定における、顔のみを入力とするパイプラインの実現可能性と優位性を示すこと。

提案手法

• 本手法は、フルフェイス画像を入力として受け取り、直接2Dまたは3Dの視線方向を回帰する標準的なCNNアーキテクチャを採用する。
• 特徴マップ上の各位置に対して注意重みを学習する空間的重み機構を導入し、顔の異なる領域からの情報を動的に抑制または強調可能にする。
• 空間的重みは畳み込み層の活性化マップに学習可能なパラメータとして適用され、ネットワークが関連する顔領域に適応的に注目できるようにする。
• 領域の重要性はアブレーションを通じて分析される。特定の顔領域をマスクした状態でモデルの性能を評価し、精度の低下度合いから相対的な重要性を特定する。
• 顔の画像と重要度マップは、左/右の目頭・口角の3つの顔面特徴点を用いてアライメントされ、被験者間で一貫した比較が可能になる。
• 本手法は、MPIIGazeおよびEYEDIAPデータセットにおいて、1人を除いたクロスバリデーション方式を用いて訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 フルフェイスの外見ベース視線推定手法は、従来の目のみまたは複数領域に焦点を当てた手法を上回る3D視線推定性能を達成できるか？
• RQ2 照明の変化、頭部ポーズ、視線方向の変化の下で、視線推定に最も寄与する顔領域は何か？
• RQ3 提案された空間的重み機構は、極端な頭部ポーズや照明変動に対する頑健性を向上させるか？
• RQ4 目のみを入力とする手法や複数の顔領域を用いる手法と比較して、顔全体のみを入力とする手法の性能は如何ほどか？
• RQ5 低解像度画像や困難な屋外環境下において、フルフェイスアプローチは特に有益であるか？

主な発見

• 提案手法は、MPIIGazeデータセットで3D視線推定精度4.8°を達成し、従来の最先端手法比で14.3%の向上を示した。
• EYEDIAPデータセットでは、3D視線推定精度が6.0°に達し、人物に依存しない評価において、前回の最先端手法比で27.7%の向上を示した。
• 本手法は、あらゆる照明条件下で一貫した性能向上を示し、特に強い方向照明下で顕著な改善が観察された。
• 領域の重要度分析から、視線方向が極端になるほど、目以外の領域の重要性が増加することが明らかになった。特に横方向の視線において顕著であった。
• 極端な頭部ポーズ下では、目のみを入力とするベースラインと比較して、フルフェイス入力が著しく優れた性能を示し、目以外の領域が推定精度向上に寄与した。
• 空間的重み機構により、ネットワークは領域固有の注目を学習でき、方向照明下では明るい側の領域に高い重要度を割り当てた。