[論文レビュー] Efficient CNN Implementation for Eye-Gaze Estimation on Low-Power/Low-Quality Consumer Imaging Systems

Joseph Lemley, Anuradha Kar+2 more|arXiv (Cornell University)|Jun 28, 2018

Gaze Tracking and Assistive Technology参考文献 52被引用数 12

ひとこと要約

本論文は、低消費電力・低解像度のコンsumerカメラ向けに、効率的な瞳孔推定を実現する軽量でハードウェア最適化された畳み込みニューラルネットワーク（CNN）を提案する。二眼入力とランダムリサイズデータ拡張を活用することで、MPII-Gazeデータセットにおいて3.65°という最先端の精度を達成し、計算コストを最小限に抑えつつ、現実の制約条件下でより大きなネットワークや既存手法を上回る性能を発揮する。

ABSTRACT

Accurate and efficient eye gaze estimation is important for emerging consumer electronic systems such as driver monitoring systems and novel user interfaces. Such systems are required to operate reliably in difficult, unconstrained environments with low power consumption and at minimal cost. In this paper a new hardware friendly, convolutional neural network model with minimal computational requirements is introduced and assessed for efficient appearance-based gaze estimation. The model is tested and compared against existing appearance based CNN approaches, achieving better eye gaze accuracy with significantly fewer computational requirements. A brief updated literature review is also provided.

研究の動機と目的

• 低消費電力・低品質なコンsumerイメージングデバイスに適合する低複雑性でリアルタイムな瞳孔推定システムの開発。
• 制約のある環境下で、被験者の距離のばらつきや低解像度入力による精度低下の課題に対処すること。
• モデルサイズや推論コストを増加させることなく、二眼入力とデータ拡張を用いて瞳孔推定性能を向上させること。
• 組み込みおよびモバイルプラットフォームに一般的なメモリおよび速度制約に最適化されたCNNアーキテクチャの設計。
• MPII-Gazeベンチマークにおいて、既存のCNNベースの瞳孔推定手法と比較して優れた精度を示すこと。

提案手法

• 左右の瞳画像を同時に処理する二チャネルCNNアーキテクチャを採用し、耐障害性と精度を向上させる。
• 3×3畳み込み層をブロック単位でスタックすることで、パラメータ数と計算負荷を削減しながら、大きなカーネルと同等の受容 field を維持する。
• トレーニング時にランダムリサイズ（最近傍補間を用いて）を適用し、被験者距離の変動をシミュレートし、耐障害性を向上させる。
• 推論時にLanczosフィルタリングを適用し、画像品質を維持するとともに、特定の補間手法によるバイアスを回避する。
• 複数の解像度（例：36×60、31×52、26×16）を用いたデータ拡張を実装し、実世界の視認距離における一般化性能を向上させる。
• 低解像度の瞳画像から直接、 gaze 角度（φ, θ）を予測する回帰タスクとしてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 コンactでハードウェア最適化されたCNNは、低解像度のコンsumer級カメラで高い瞳孔推定精度を達成できるか？
• RQ2 低品質なイメージング条件下で、二眼入力は単眼入力と比較してどのように瞳孔推定性能を向上させるか？
• RQ3 トレーニング時のランダムリサイズによるデータ拡張は、被験者距離の変動に対するモデルの耐障害性をどの程度向上させるか？
• RQ4 軽量なCNNアーキテクチャは、実世界の瞳孔推定タスクにおいて、より大きな複雑なモデルを上回る精度と効率を達成できるか？
• RQ5 カーネルサイズとネットワークの深さは、瞳孔推定における精度と計算効率にどのような影響を与えるか？

主な発見

• 提案モデルは、解像度36×60でMPII-Gazeデータセットにおいて平均 gaze 誤差3.65°を達成し、先行研究の最先端手法を顕著に上回る。
• 二眼入力により、特に照明が悪い状況や遮蔽がある状況下でも、低品質な瞳画像における曖昧さを解消できるようになり、精度が向上した。
• 複数の解像度でランダムリサイズによるデータ拡張を適用したことで、誤差は4.917°から3.65°に低下し、被験者距離への不変性が顕著に向上した。
• 複数の解像度でも高い性能を維持しており、31×52では4.169°、26×16では4.240°の誤差を示し、ダウンスケーリングに対する耐障害性が確認された。
• 大きなカーネルではなくスタックされた3×3畳み込み層を採用することで、FLOPsとモデルサイズを削減しながら性能を維持でき、アーキテクチャの効率性が裏付けられた。
• 4.8°の誤差を示す文献上のより大きなネットワークをも上回る性能を達成したため、コンパクトさと効率性が精度を損なわないことが証明された。