[論文レビュー] Domain Adaptation Gaze Estimation by Embedding with Prediction Consistency

Zidong Guo, Zejian Yuan+4 more|arXiv (Cornell University)|Nov 15, 2020

Gaze Tracking and Assistive Technology参考文献 30被引用数 7

ひとこと要約

本論文は、予測の一貫性（EPC）を用いた埋め込みを用いた、目線推定のための教師なしドメイン適応手法を提案する。目線空間と埋め込み空間の両方における目線方向の線形関係を強制することで、EPC損失を用いてドメインギャップを低減し、眼領域入力のみでMPIIGazeでは9.66%の誤差低減（4.14°から3.74°）、EYEDIAPでは18.9%の誤差低減（5.3°から4.3°）を達成し、最先端の性能を実現した。

ABSTRACT

Gaze is the essential manifestation of human attention. In recent years, a series of work has achieved high accuracy in gaze estimation. However, the inter-personal difference limits the reduction of the subject-independent gaze estimation error. This paper proposes an unsupervised method for domain adaptation gaze estimation to eliminate the impact of inter-personal diversity. In domain adaption, we design an embedding representation with prediction consistency to ensure that the linear relationship between gaze directions in different domains remains consistent on gaze space and embedding space. Specifically, we employ source gaze to form a locally linear representation in the gaze space for each target domain prediction. Then the same linear combinations are applied in the embedding space to generate hypothesis embedding for the target domain sample, remaining prediction consistency. The deviation between the target and source domain is reduced by approximating the predicted and hypothesis embedding for the target domain sample. Guided by the proposed strategy, we design Domain Adaptation Gaze Estimation Network(DAGEN), which learns embedding with prediction consistency and achieves state-of-the-art results on both the MPIIGaze and the EYEDIAP datasets.

研究の動機と目的

• 被験者間のばらつきが目線推定の精度を制限するという課題に対処すること。
• ラベルなしのターゲットデータを必要とせずに、ソース（学習）ドメインとターゲット（評価）ドメイン間のドメインギャップを低減すること。
• 教師なしドメイン適応を用いて、多様な被験者に対してより頑健な目線推定を向上させること。
• 一般化性能を向上させるために、目線空間と埋め込み空間の間で線形的一致性を維持する表現を開発すること。
• 眼領域入力のみを用いて、標準的な目線推定ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、各ターゲットサンプルの目線方向を、目線空間におけるソースドメインの近傍サンプルの局所線形結合としてモデル化することで、予測の一貫性（EPC）を持つ埋め込み表現を設計する。
• ソースドメインの目線空間からの同じ線形重みを、ソース埋め込みに適用して埋め込み空間における仮説埋め込みを生成し、局所構造を保持する。
• 各ターゲットサンプルについて、予測された埋め込みと仮説埋め込みのL2距離を最小化するEPC損失を導入し、ドメイン差を低減する。
• ドメイン適応目線推定ネットワーク（DAGEN）は、2段階の戦略（ソースドメインでの事前学習、その後にEPC損失を用いたドメイン適応）で訓練される。
• 本手法は、ImageNetで事前学習されたResNet-18バックボーンを用い、ソースデータで微調整することで特徴表現を向上させ、局所最適解を回避する。
• 選択間隔パラメータμは、局所線形近似に使用するソースサンプルの範囲を制御し、μ = 0.15で最適な性能が得られる。

実験結果

リサーチクエスチョン

• RQ1 目線空間と埋め込み空間における予測の一貫性は、教師なし目線推定におけるドメインギャップを低減できるか？
• RQ2 ラベルなしのターゲットドメインにおいて、ソースドメインの近傍を用いた局所線形埋め込みは、目線推定性能を向上させられるか？
• RQ3 埋め込み次元や選択間隔μなどのハイパーパrameterの影響は、モデル性能にどのように現れるか？
• RQ4 ImageNetおよびソースドメインでの事前学習は、目線推定のドメイン適応における収束性と精度向上に寄与するか？
• RQ5 提案されたEPC損失は、被験者間バイアスを効果的に低減し、ベンチマークデータセットで最先端の結果を達成できるか？

主な発見

• 提案されたDAGEN手法は、MPIIGazeデータセットで平均絶対誤差（MAE）を9.66%低減し、4.14°から3.74°に低下させた。
• EYEDIAPデータセットでは、MAEが18.9%改善され、誤差が5.3°から4.3°に低下した。
• 埋め込み次元Fg = {8, 16, 32, 64}の範囲で性能に顕著な低下がなく、強力な一般化能力を示した。
• ImageNetおよびソースドメインでの事前学習を併用することで最良の性能（MAE 3.74°）が得られ、相乗効果があることが示された。
• 選択間隔μ = 0.15が最適な性能を達成したが、μが小さいと訓練サンプルが不足し、過学習が生じて誤差が上昇した。
• 可視化結果から、DAGENは特に照明やポーズが難しい条件下でも、予測と真値の間の固定バイアスを顕著に低減していることが確認された。