[논문 리뷰] Rendering of Eyes for Eye-Shape Registration and Gaze Estimation

Erroll Wood, Tadas Baltrušaitis외 4명|arXiv (Cornell University)|2015. 02. 17.

Gaze Tracking and Assistive Technology참고 문헌 21인용 수 64

한 줄 요약

이 논문은 고해상도 머리 스캔에서 유도된 동적이고 제어 가능한 3차원 눈 모델을 사용하여 사진처럼 사실적인, 완전히 레이블링된 눈 영역 이미지를 생성하는 학습-통합 프레임워크인 SynthesEyes를 제안한다. 다양한 머리 자세, 시선 방향, 그리고 현실적인 조명 조건을 시뮬레이션함으로써, 눈 모양 정렬 및 교차 데이터셋 시선 추정에서 최신 기술을 능가하는 고품질의 훈련 데이터를 생성한다. 이는 외관과 기하학적 특성에 대해 정밀하게 제어할 수 있는 합성 데이터의 효과를 입증한다.

ABSTRACT

Images of the eye are key in several computer vision problems, such as shape registration and gaze estimation. Recent large-scale supervised methods for these problems require time-consuming data collection and manual annotation, which can be unreliable. We propose synthesizing perfectly labelled photo-realistic training data in a fraction of the time. We used computer graphics techniques to build a collection of dynamic eye-region models from head scan geometry. These were randomly posed to synthesize close-up eye images for a wide range of head poses, gaze directions, and illumination conditions. We used our model's controllability to verify the importance of realistic illumination and shape variations in eye-region training data. Finally, we demonstrate the benefits of our synthesized training data (SynthesEyes) by out-performing state-of-the-art methods for eye-shape registration as well as cross-dataset appearance-based gaze estimation in the wild.

연구 동기 및 목표

• 컴퓨터 비전 작업을 위한 대규모 고품질 눈 이미지 데이터셋을 수집하고 레이블링하는 데 도전하는 것.
• 기존의 합성 데이터가 종종 현실적인 조명, 재질 특성, 기하학적 세부 정보가 부족한 점을 보완하는 것.
• 완전히 제어 가능한 사진처럼 사실적인 합성 데이터를 사용하여 눈 모양 정렬 및 외관 기반 시선 추정을 위한 강력한 모델을 훈련하는 것.
• 교차 데이터셋 평가 환경에서 합성 데이터가 실제 데이터셋과 비교해도 성능이 유사하거나 뛰어나다는 것을 입증하는 것.

제안 방법

• 고밀도 3차원 머리 스캔(140만 개 폴리곤)에서 유도된 동적 고정밀도 3차원 눈 영역 모델을 제작하고, 애니메이션에 적합하도록 9,005개 폴리곤으로 재메eshing하였다.
• 고해상도 디스플레이맵을 사용해 미세한 피부 표면 세부 정보를 복원하고, 동공 및 눈꺼풀에 대한 수작업 레이블링된 3차원 랜드마크를 적용하였다.
• 이미지 기반 조명(IBL)을 활용해 다양한 환경 및 조명 조건에서 현실적인 조명 변화를 시뮬레이션하였다.
• 머리 자세, 시선 방향, 조명 설정을 무작위로 샘플링하여 대규모이고 다양한 훈련 데이터셋(SynthesEyes)을 생성하였다.
• 모델의 제어 가능성을 활용하여 현실적인 조명과 형태 변화가 모델 성능에 미치는 영향을 검증하였다.
• SynthesEyes를 기반으로 두 가지 별도의 모델을 훈련: 눈 영역의 기하학적 변형을 고려한 모델(형태 정렬용)과 CNN(외관 기반 시선 추정용).

실험 결과

연구 질문

• RQ1 정확한 진짜 레이블이 부여된 합성 사진처럼 사실적인 눈 이미지는 실제 데이터에 비해 눈 모양 정렬 성능을 향상시킬 수 있는가?
• RQ2 합성 훈련 데이터에 포함된 현실적인 조명 변화가 시선 추정 모델의 일반화 능력에 어느 정도 기여하는가?
• RQ3 교차 데이터셋 시선 추정 환경에서 합성으로 생성된 데이터를 사용한 훈련은 실제 데이터셋을 사용한 훈련과 비교해 어떻게 성능을 내는가?
• RQ4 특정 머리 자세 및 시선 범위에 집중한 타겟 맞춤형 데이터 합성은 노트북 기반 시선 상호작용과 같은 실세계 응용 분야에서 성능 향상에 기여하는가?
• RQ5 개개인 간 눈 모양과 피부 색상의 다양성이 합성 데이터로 훈련된 외관 기반 시선 추정 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• SynthesEyes 데이터셋은 MPIIGaze 데이터셋에서 교차 데이터셋 시선 추정 작업에서 평균 오차 13.91°를 기록했으며, 실제 UT Multiview 데이터셋으로 훈련된 모델의 성능(13.55°)과 유사했다.
• 노트북 기반 시선 상호작용을 위한 타겟 맞춤형 합성(10° 자세, 20° 시선 변화 범위)을 적용한 결과 평균 오차가 7.90°로 감소하여 UT 데이터셋 성능을 유의미하게 뛰어넘었다(p < 0.0001).
• 기존에 SynthesEyes로 훈련된 CNN에 실제 UT 데이터로 미세조정한 결과, 타겟 없음 조건에서 오차는 11.12°로 감소했고, 타겟 조건에서는 7.90°로 유지되어 최신 기술 성능(13.91°)을 초월했다.
• 피부 톤이나 눈 모양이 일치하지 않는 눈 모델은 일반화 능력이 떨어졌으며, 일부 모델(f3, m2, m4)은 MPIIGaze 참가자들에 대해 유의미하게 높은 오차를 기록했다.
• 내부 데이터셋 훈련과 교차 데이터셋 훈련 간 성능 격차는 여전히 존재하여, 합성 데이터만으로는 실제 세계의 변동성을 완전히 반영하지 못할 수 있음을 시사한다.
• 연구는 현실적인 조명과 기하학적 변형이 강력한 모델 일반화에 핵심적임을 확인하였으며, 높은 제어 가능성을 지닌 합성 데이터가 복잡한 시각 작업을 효과적으로 지원할 수 있음을 입증한다.