[論文レビュー] LNSMM: Eye Gaze Estimation With Local Network Share Multiview Multitask

Yong Huang, Ben M. Chen+1 more|arXiv (Cornell University)|Jan 18, 2021

Gaze Tracking and Assistive Technology参考文献 20被引用数 4

ひとこと要約

本稿では、ローカル共有ネットワークとマルチビュー多タスク学習を用いた、同時的な視線点および視線方向推定のための新しい深層学習フレームワークLNSMMを提案する。視線方向の同一平面制約と、視線点推定のためのクロスビュー畳み込みプーリングを活用することで、独自および公開データセットの両方で、視線点（平均誤差3.9°）および視線方向（4.70°）のタスクにおいて、最先端の性能を達成した。

ABSTRACT

Eye gaze estimation has become increasingly significant in computer vision.In this paper,we systematically study the mainstream of eye gaze estimation methods,propose a novel methodology to estimate eye gaze points and eye gaze directions simultaneously.First,we construct a local sharing network for feature extraction of gaze points and gaze directions estimation,which can reduce network computational parameters and converge quickly;Second,we propose a Multiview Multitask Learning (MTL) framework,for gaze directions,a coplanar constraint is proposed for the left and right eyes,for gaze points,three views data input indirectly introduces eye position information,a cross-view pooling module is designed, propose joint loss which handle both gaze points and gaze directions estimation.Eventually,we collect a dataset to use of gaze points,which have three views to exist public dataset.The experiment show our method is state-of-the-art the current mainstream methods on two indicators of gaze points and gaze directions.

研究の動機と目的

• 既存の視線推定手法が視線点と視線方向の推定を別々に扱い、それらの相関関係を無視しているという限界を是正すること。
• マルチビュー入力を用いて視線点と視線方向を統合的にモデル化することで、視線推定の精度と頑健性を向上させること。
• 局所的共有ネットワークアーキテクチャを用いることで、モデルの複雑さを低減し、収束を加速させること。
• マルチビューデータを用いることで、遮蔽や鏡面反射などの困難な状況下での性能を向上させること。
• 被験者1人あたり3視点のマルチビューデータセットを新たに収集し、眼鏡着用有無の両方を含めて、その手法の妥当性を検証すること。

提案手法

• 視線点と視線方向の両方の推定に特徴を抽出するための局所的共有ネットワークを設計し、パラメータ数を削減するとともに、学習効率を向上させた。
• 左目および右目の視線方向が同一平面に位置することを制約するマルチビュー多タスク学習（MTL）フレームワークを提案した。
• 視線点推定のため、3視点からの特徴を統合するクロスビュー畳み込みプーリングモジュールを導入し、眼の位置情報を暗黙的に符号化した。
• 視線点と視線方向の両方の推定を同時に最適化するためのジョイント損失関数を導入した。
• 遮蔽や鏡面反射に対して頑健性を高めるために、マルチビュー入力（3つの視点）を用い、特に眼鏡着用時の状況でも性能を向上させた。
• バックボーンネットワークは、局所的重み共有を有するResNeXt-36に基づいており、計算コストを低減しつつ特徴表現を強化した。

実験結果

リサーチクエスチョン

• RQ1 視線点と視線方向の推定をどのように統合的に最適化することで、精度を向上させるとともに、それらの相関関係を活用できるか？
• RQ2 マルチビュー入力は、視線推定におけるノイズと遮蔽をどのように低減するか？
• RQ3 局所的共有ネットワークアーキテクチャは、性能を損なわせることなく、モデルパラメータ数を効果的に削減し、収束を加速させることができるか？
• RQ4 左目および右目の視線方向に同一平面制約を課すことで、推定精度はどのように向上するか？
• RQ5 提案手法は、眼鏡着用といった異なる眼の状態に対し、どの程度一般化可能か？

主な発見

• 提案されたLNSMM手法は、著者らが収集した独自のマルチビュー・データセットにおいて、視線点推定で平均3.9°の誤差を達成し、比較手法すべてを上回った。
• MPIIGazeデータセットでは、視線方向推定で平均角度誤差4.70°を達成し、次に優れた手法よりも0.61°優れていた。
• マルチビュー入力の活用により、特に遮蔽や反射が顕著に現れる眼鏡着用被験者において、性能が向上した。
• 局所的共有ネットワーク（ResNeXt-36）はモデルの複雑さを低減し、収束を促進した。非共有バージョンと比較して、本手法は優れた性能を示した。
• クロスビュー畳み込みプーリングモジュールは、多視点情報を効果的に統合し、眼の位置の手がかりを活用することで、視線点推定の精度を向上させた。
• 左目および右目の視線方向に同一平面制約を課すことで、視線方向推定の精度が顕著に向上し、特に対称的かつ一貫性のある3次元視線モデリングにおいて顕著であった。