[논문 리뷰] Appearance-Based Gaze Estimation via Gaze Decomposition and Single Gaze Point Calibration.

Zhaokang Chen, Bertram E. Shi|arXiv (Cornell University)|2019. 05. 11.

Gaze Tracking and Assistive Technology참고 문헌 43인용 수 6

한 줄 요약

이 논문은 눈동자 방향을 개인별로 다른 보정 항과 개인에 관계없는 차이 항으로 분해하는 새로운 외형 기반 시선 추정 방법을 제안한다. 이 방법은 깊이 신경망을 사용해 후자를 추정한다. 단일 점 캘리브레이션을 통해 오차를 최대 35.6% 감소시키며, 세 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 캘리브레이션 불필요 방법보다 최대 10.0% 향상된 성능이다.

ABSTRACT

Appearance-based gaze estimation provides relatively unconstrained gaze tracking. However, subject-indepen\-dent models achieve limited accuracy partly due to individual variations. To improve estimation, we propose a novel gaze decomposition method and a single gaze point calibration method, motivated by our finding that the inter-subject squared bias exceeds the intra-subject variance for a subject-independent estimator. We decompose the gaze angle into a subject-dependent bias term and a subject-independent difference term between the gaze angle and the bias. The difference term is estimated by a deep convolutional network. For calibration-free tracking, we set the subject-dependent bias term to zero. For single gaze point calibration, we estimate the bias from a few images taken as the subject gazes at a point. Experiments on three datasets indicate that as a calibration-free estimator, the proposed method outperforms the state-of-the-art methods that use single model by up to $10.0\%$. The proposed calibration method is robust and reduces estimation error significantly (up to $35.6\%$), achieving state-of-the-art performance for appearance-based eye trackers with calibration.

연구 동기 및 목표

• 개인의 눈 모양과 시선 패턴 차이로 인해 발생하는 개인별로 독립적인 시선 추정의 정확도 한계를 해결한다.
• 개인 간 제곱 보정 항이 개인 내 분산을 초과하는 문제를 해결한다.
• 개인별 캘리브레이션 없이도 높은 정확도를 유지하는 캘리브레이션 불필요 시선 추정 방법을 개발한다.
• 시선 추정 오차를 크게 줄일 수 있는 강력한 단일 시선 점 캘리브레이션 기법을 도입한다.
• 최소한의 캘리브레이션 데이터로 외형 기반 시선 추적에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 시선 각도를 개인별로 다른 보정 항과 개인에 관계없는 차이 항으로 분해하며, 이 차이 항은 보정 항에서의 편차를 의미한다.
• 눈 이미지의 외형에서 개인에 관계없는 차이 항을 추정하기 위해 깊이 합성곱 신경망을 훈련한다.
• 캘리브레이션 불필요 추적을 위해 개인별로 다른 보정 항을 0으로 설정하고, 오직 CNN에 의해 추정된 차이 항에 의존한다.
• 단일 점에서 시선을 향한 소수의 이미지로부터 개인별로 다른 보정 항을 추정한다.
• 추정된 보정 항을 사용해 네트워크 출력을 보정함으로써 전체 추정 오차를 줄인다.
• 분해 기법을 활용해 개인 특유의 보정 항과 일반적인 시선 패턴을 분리함으로써 효율적인 캘리브레이션과 향상된 일반화 성능를 가능하게 한다.

실험 결과

연구 질문

• RQ1 외형 기반 시선 추정에서 개인별로 다른 보정 항을 명시적으로 모델링함으로써 정확도를 향상시킬 수 있는가?
• RQ2 시선 각도를 보정 항과 차이 항으로 분리하면 개인 간 일반화 성능이 향상되는가?
• RQ3 단일 시선 점 캘리브레이션 기법이 캘리브레이션 불필요 방법 대비 추정 오차를 얼마나 효과적으로 줄이는가?
• RQ4 깊이 신경망이 눈 이미지만으로도 개인에 관계없는 차이 항을 효과적으로 추정할 수 있는가?
• RQ5 기존 최신 기술 수준의 캘리브레이션 불필요 및 캘리브레이션 기반 시선 추정 시스템에 비해 제안된 방법의 성능 향상은 어느 정도인가?

주요 결과

• 제안된 캘리브레이션 불필요 방법은 세 데이터셋에서 최신 기술 수준의 캘리브레이션 불필요 방법보다 최대 10.0% 높은 정확도를 달성한다.
• 단일 시선 점 캘리브레이션은 추정 오차를 최대 35.6% 감소시켜 캘리브레이션 불필요 기반 모델 대비 성능을 크게 향상시킨다.
• 최소한의 캘리브레이션 데이터로 외형 기반 시선 추적에서 최신 기술 수준의 성능을 달성한다.
• 개인 간 제곱 보정 항이 개인 내 분산을 초과함을 확인함으로써, 개인에 관계없는 추정에서 개인별로 다른 보정 항 모델링의 필요성을 입증한다.
• 시선 분해 프레임워크는 개인당 단일 캘리브레이션 점만으로도 강력한 성능을 발휘함을 보이며, 높은 캘리브레이션 효율성을 입증한다.