[논문 리뷰] MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation

Xucong Zhang, Yusuke Sugano외 2명|arXiv (Cornell University)|2017. 11. 24.

Gaze Tracking and Assistive Technology참고 문헌 64인용 수 10

한 줄 요약

이 논문은 일상적인 노트북 사용 중 15명의 사용자로부터 수집한 213,659장의 전체 얼굴 영상으로 구성된 대규모 실세계 데이터셋인 MPIIGaze를 소개한다. 이 데이터셋은 눈의 외관, 조명, 머리 자세에 있어 높은 다양성을 보이며, 깊이 학습 기반의 시선 추정 방법인 GazeNet을 제안한다. 이는 16층의 VGG 컨볼루션 신경망을 사용하여 교차 데이터셋 평가에서 평균 오차를 22% 감소시켜 10.8°로 개선한다.

ABSTRACT

Learning-based methods are believed to work well for unconstrained gaze estimation, i.e. gaze estimation from a monocular RGB camera without assumptions regarding user, environment, or camera. However, current gaze datasets were collected under laboratory conditions and methods were not evaluated across multiple datasets. Our work makes three contributions towards addressing these limitations. First, we present the MPIIGaze that contains 213,659 full face images and corresponding ground-truth gaze positions collected from 15 users during everyday laptop use over several months. An experience sampling approach ensured continuous gaze and head poses and realistic variation in eye appearance and illumination. To facilitate cross-dataset evaluations, 37,667 images were manually annotated with eye corners, mouth corners, and pupil centres. Second, we present an extensive evaluation of state-of-the-art gaze estimation methods on three current datasets, including MPIIGaze. We study key challenges including target gaze range, illumination conditions, and facial appearance variation. We show that image resolution and the use of both eyes affect gaze estimation performance while head pose and pupil centre information are less informative. Finally, we propose GazeNet, the first deep appearance-based gaze estimation method. GazeNet improves the state of the art by 22% percent (from a mean error of 13.9 degrees to 10.8 degrees) for the most challenging cross-dataset evaluation.

연구 동기 및 목표

• 일상적인 조건에서 수집된 대규모이고 다양한 실세계 제약 없는 시선 추정 데이터셋을 통해 제약 없는 시선 추정 데이터셋의 부족을 보완하고자 한다.
• 일부 이미지에 대해 수작업으로 레이블링된 얼굴 랜드마크와 동공 중심 정보를 제공함으로써 시선 추정 방법의 교차 데이터셋 평가를 가능하게 하고자 한다.
• 핵심 과제인 시선 범위, 조명, 개인 외형이 시선 추정 성능에 미치는 영향을 조사하고자 한다.
• 실세계의 다양한 변동성에 일반화할 수 있는 깊이 학습 기반의 외형 기반 시선 추정 방법을 개발하고 평가하고자 한다.
• 다양한 데이터셋을 기반으로 최신 기술을 평가하여 제약 없는 시선 추정의 기준을 설정하고자 한다.

제안 방법

• MPIIGaze 데이터셋은 경험 샘플링 방식을 사용하여 수집되었으며, 사용자가 일상적인 노트북 사용 중 무작위 간격으로 다양한 화면 위치를 향해 보도록 유도하였다.
• 이 데이터셋은 3D 시선 타겟 정보와 함께 213,659장의 전체 얼굴 RGB 영상으로 구성되어 있으며, 조명, 눈의 외형, 머리 자세의 실제적인 변동성을 포괄한다.
• 37,667장의 이미지 서브셋에 대해 눈과 입의 모서리 등 6개의 얼굴 랜드마크와 동공 중심이 수작업으로 레이블링되어 있어, 교차 데이터셋 평가 및 관련 작업을 지원한다.
• GazeNet은 눈 영역 영상에서 3D 시선 방향으로 회귀하도록 훈련된 16층의 VGG 스타일 컨볼루션 신경망이다. 이는 명시적인 머리 자세나 랜드마크 입력 없이 외형 특징만을 사용한다.
• 이 모델은 MPIIGaze, EYEDIAP, UT Multiview 등 여러 데이터셋에서 훈련 및 평가되었으며, 입력 모odal리티와 데이터 분포에 대한 광범위한 분석 연구가 수행되었다.
• 성능 평가는 교차 데이터셋 및 내부 데이터셋 설정에서 평균 각도 오차(MAE)를 사용하였으며, 형태 기반 및 합성 기반 학습 접근법을 포함한 최신 기술과의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 실세계 데이터셋 간 평가에서 내부 데이터셋 평가에 비해 시선 추정 성능이 얼마나 떨어지는가?
• RQ2 시선 범위, 조명, 개인 외형의 변동성이 제약 없는 시선 추정에서 성능 격차에 얼마나 기여하는가?
• RQ3 깊이 학습 기반의 외형 기반 방법이 실세계 제약 없는 환경에서 기존의 모델 기반 및 하이브리드 접근법을 능가할 수 있는가?
• RQ4 실세계 데이터에 대해 딥 러닝 기반 시선 추정에서 머리 자세와 동공 중심 정보를 보조 입력으로 사용할 경우 얼마나 효과적인가?
• RQ5 사전 훈련에 합성 데이터를 사용할 경우 실세계 테스트 데이터로의 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 GazeNet 방법은 가장 도전적인 교차 데이터셋 평가에서 평균 각도 오차를 13.9°에서 10.8°로 감소시켜 기존 최고 기술 대비 22% 향상시켰다.
• 조명 조건이 교차 데이터셋 평가에서 성능 격차의 35%를 차지하는 것으로 밝혀져, 실세계 시선 추정에서 중요한 역할을 한다는 점을 시사한다.
• 개인 외형의 변동성이 성능 격차의 40%를 차지하여, 일반화를 위해 다양한 훈련 데이터의 중요성을 강조한다.
• 시선 범위 제약이 성능 격차의 25%를 차지하여, 더 넓은 훈련 커버리지가 강건성을 향상시킨다는 점을 시사한다.
• 머리 자세나 동공 중심 정보를 입력으로 추가해도 성능 향상이 미미하여, 제약 없는 환경에서는 그 유용성이 제한적임을 시사한다.
• 내부 데이터셋 평가와 교차 데이터셋 평가 간 성능 격차가 뚜렷하여, 이전 평가에서 심각한 도메인 이동과 데이터셋 편향이 존재한다는 점을 드러냈다.