[論文レビュー] Recurrent CNN for 3D Gaze Estimation using Appearance and Shape Cues

Cristina Palmero, Javier Selva+2 more|arXiv (Cornell University)|May 8, 2018

Gaze Tracking and Assistive Technology参考文献 24被引用数 26

ひとこと要約

本論文は、顔および目の領域（外見）と顔面の特徴点（形状）の手がかりを融合するマルチモーダルな再帰的CNNを提案し、画像系列からの時間的ダイナミクスを活用することで3次元視線推定を実現する。EYEDIAPではSOTA比で14.6%の向上を達成し、時間的モデリングを導入することでさらに4%の向上を達成しており、時間的データを活用する最初のリモート、第三者視点の3次元視線推定手法である。

ABSTRACT

Gaze behavior is an important non-verbal cue in social signal processing and human-computer interaction. In this paper, we tackle the problem of person- and head pose-independent 3D gaze estimation from remote cameras, using a multi-modal recurrent convolutional neural network (CNN). We propose to combine face, eyes region, and face landmarks as individual streams in a CNN to estimate gaze in still images. Then, we exploit the dynamic nature of gaze by feeding the learned features of all the frames in a sequence to a many-to-one recurrent module that predicts the 3D gaze vector of the last frame. Our multi-modal static solution is evaluated on a wide range of head poses and gaze directions, achieving a significant improvement of 14.6% over the state of the art on EYEDIAP dataset, further improved by 4% when the temporal modality is included.

研究の動機と目的

• リモートRGBカメラを用いた人物および頭部姿勢に依存しない3次元視線推定の課題に対処すること。
• 頭部姿勢、照明、視線方向の実世界でのばらつきに対して一般化性能を向上させること。
• 外見（顔および目の領域）と形状（顔面特徴点）のマルチモーダルな手がかりを統合し、特徴表現を強化すること。
• 目の動きおよび頭部の動きの時間的ダイナミクスを活用し、静的画像解析を超えた視線予測を改善すること。
• 個人に特化したキャリブレーションなしに、被験者に依存しない自由な頭部の視線推定システムを構築すること。

提案手法

• 顔全体画像、高解像度の目の領域、顔面キーポイントのヒートマップの3つの入力ストリームを処理するマルチストリーム3次元CNNを採用する。
• 最終的な全結合層の直前に、3つのストリームからの特徴をラテントフェージュージョンで統合する。
• フレームレベルの特徴の系列を、many-to-oneの再帰的ニューラルネットワーク（LSTMまたはGRU）に供給し、時間的ダイナミクスをモデル化する。
• 再帰モジュールを、系列の最後のフレームの3次元視線ベクトルを予測するように訓練し、最終隠れ状態のみを出力する。
• アダム最適化法を用い、平均角誤差損失を最適化し、データ拡張を活用して耐性を向上させる。
• 系列長を4、7、10フレームに固定し、性能への影響を評価し、最適なs=4またはs=10を選択する。

実験結果

リサーチクエスチョン

• RQ1 外見と形状の手がかりをマルチストリームCNNで統合することで、多様な頭部姿勢および視線方向下での3次元視線推定精度が向上するか？
• RQ2 画像系列からの逐次的情報を組み込むことで、静的画像モデルと比較して視線推定性能が向上するか？
• RQ3 顔面特徴点（幾何的形状情報）の導入が、モデルの一般化性能および耐性にどのように影響するか？
• RQ4 時間的モデリングは、頭部の動きや視線方向と関連して、どのような状況で最も効果を発揮するか？
• RQ5 提案された再帰的アーキテクチャは、被験者に特化したキャリブレーションなしに、リモート、第三者視点の3次元視線推定に有効であるか？

主な発見

• 静的マルチモーダルCNNは、EYEDIAPデータセットのFT（自由な頭部）状況下で、以前のSOTA比で14.6%の相対的改善を達成した。
• 再帰ネットワークによる時間的モデリングを導入することで、静的モデルと比較して平均角誤差がさらに4%低減した。
• 時間的モデルは静的モデルよりも統計的に有意な改善（p < 0.0001）を示し、特に頭部が動いている状況で顕著であった。
• モデルは中程度の視線方向で最も良好に機能し、頭部の動きがある場合に最も恩恵を受けるが、データの不均衡のため極端なポーズでは改善が小さい。
• 1層のGRU（128ユニット）が、深さや幅を増やしたアーキテクチャを上回り、系列長s=4またはs=10がs=7よりも優れた結果を示した。
• 本手法は、時間的ダイナミクスを効果的に活用する最初のリモート、第三者視点、人物および頭部姿勢に依存しない3次元視線推定システムである。