[論文レビュー] Gaze Estimation with an Ensemble of Four Architectures

Xin Cai, Boyu Chen+8 more|arXiv (Cornell University)|Jul 5, 2021

Gaze Tracking and Assistive Technology参考文献 23被引用数 12

ひとこと要約

本論文は、ETH-XGazeデータセットで訓練された4つの多様なディープラーニングアーキテクチャ—iTracker-MHSA、BoTNet、HRNet、ResNeSt—を用いたアンサンブル眼線推定手法を提案する。6つの最高性能モデルの予測を重み付き線形平均で統合することで、3.11°という最先端の平均角誤差を達成し、ETH-XGazeランクイングで1位を獲得した。

ABSTRACT

This paper presents a method for gaze estimation according to face images. We train several gaze estimators adopting four different network architectures, including an architecture designed for gaze estimation (i.e.,iTracker-MHSA) and three originally designed for general computer vision tasks(i.e., BoTNet, HRNet, ResNeSt). Then, we select the best six estimators and ensemble their predictions through a linear combination. The method ranks the first on the leader-board of ETH-XGaze Competition, achieving an average angular error of $3.11^{\circ}$ on the ETH-XGaze test set.

研究の動機と目的

• 極端な視線角度、頭部ポーズの変動、遮蔽といった困難な現実世界の条件下での眼線推定精度の向上を目的とする。
• 最先端の眼線推定手法を比較するための統一された評価指標の欠如に対処すること。
• 単一モデルアプローチの限界を克服し、多様なネットワークアーキテクチャとアンサンブル学習を活用すること。
• マルチスケール、スプリットアテンション、拡張畳み込み技術が眼線推定に与える寄与を検証すること。
• 大規模かつ高解像度のETH-XGazeベンチマークデータセットにおいて優れた性能を達成すること。

提案手法

• iTracker-MHSA（マルチヘッド自己注意機構を備えた）、BoTNet（ボトルネックトランスフォーマー）、HRNet（マルチスケール特徴抽出）、ResNeSt（マルチパスとチャネルアテンションを備えた）の4つの異なるディープラーニングアーキテクチャを訓練した。
• iTracker-MHSAの目のブランチで拡張畳み込みを採用し、受容 field の拡大と特徴表現の向上を図った。
• 顔と目の特徴間のクロスモality アテンションを学習するため、残差接続とレイヤーナーミャライゼーションを備えたトランスフォーマーインクリプタを統合した。
• 顔のランドマーク検出（HRNet-W18）とRoIアライメントを用いて、顔画像から正確に目の領域を切り出した。
• 各バッチの損失サンプル上位30%を重み付けして強調することで、オンラインハード例マイニングを実装し、困難なケースへの耐性を向上させた。
• 学習された線形重みを用いて6つの最高性能モデルの予測をアンサンブルし、全体の角誤差を最小化した。

実験結果

リサーチクエスチョン

• RQ1 複数の多様なディープラーニングアーキテクチャを組み合わせることで、単一モデルの性能を超える眼線推定精度が達成可能か？
• RQ2 アテンション機構（例：マルチヘッド自己注意）とマルチスケール特徴学習は、複雑な現実世界の設定下での眼線推定にどのように影響を与えるか？
• RQ3 拡張畳み込みと残差接続は、極端な頭部ポーズや照明変動下での眼線推定をどのように向上させるか？
• RQ4 異なる入力解像度およびアーキテクチャで訓練されたモデルを重み付き平均でアンサンブルすることで、個々のモデルよりも一般化性能が向上するか？
• RQ5 チャネルワイドアテンション（ResNeSt）やマルチ解像度特徴統合（HRNet）といったアーキテクチャ的革新は、ETH-XGazeベンチマークにおける眼線推定にどの程度寄与するか？

主な発見

• アンサンブルモデルは、ETH-XGazeテストセットで平均角誤差3.11°を達成し、公式ランクイングで1位を獲得した。
• 最高の単一モデルは、入力サイズ640×640のHRNetで、3.22°の誤差を記録した。これは、より大きな入力解像度の利点を示している。
• iTracker-MHSAは448×448入力で3.37°の誤差を記録し、ベースラインiTracker（4.02°）および拡張畳み込みを備えたiTracker（3.80°）よりも改善された。
• 6つのモデルのアンサンブル（表3）は、最高の単一モデルを上回り、学習された重みを用いたモデル平均化の有効性を確認した。
• 複数の解像度（640、768、896）で訓練されたHRNetモデルは一貫した性能を示し、640×640が最小誤差（3.22°）を記録した。
• ResNeStは448×448入力で3.34°の誤差を記録し、マルチパスおよびチャネルアテンション機構による優れた性能を示した。