[논문 리뷰] GazeGAN - Unpaired Adversarial Image Generation for Gaze Estimation

Matan Sela, Pingmei Xu외 3명|arXiv (Cornell University)|2017. 11. 27.

Gaze Tracking and Assistive Technology참고 문헌 37인용 수 9

한 줄 요약

GazeGAN은 쌍방향이 아닌 적대적 이미지 간 번역 프레임워크를 제안하여, 실재의 레이블이 없는 얼굴 데이터와 합성 시뮬레이션을 융합함으로써 고해상도, 현실성 있고 다양한 눈 부위 이미지를 정확한 2차원 시선 방향 레이블과 함께 합성한다. 이 방법은 실사 사용자 데이터를 수집하지 않고도 모바일 기기에서 최신 기술 수준의 시선 추정 성능을 달성하면서도 자세, 블러 및 기기 간 일반화 능력에 대한 강건성을 향상시킨다.

ABSTRACT

Recent research has demonstrated the ability to estimate gaze on mobile devices by performing inference on the image from the phone's front-facing camera, and without requiring specialized hardware. While this offers wide potential applications such as in human-computer interaction, medical diagnosis and accessibility (e.g., hands free gaze as input for patients with motor disorders), current methods are limited as they rely on collecting data from real users, which is a tedious and expensive process that is hard to scale across devices. There have been some attempts to synthesize eye region data using 3D models that can simulate various head poses and camera settings, however these lack in realism. In this paper, we improve upon a recently suggested method, and propose a generative adversarial framework to generate a large dataset of high resolution colorful images with high diversity (e.g., in subjects, head pose, camera settings) and realism, while simultaneously preserving the accuracy of gaze labels. The proposed approach operates on extended regions of the eye, and even completes missing parts of the image. Using this rich synthesized dataset, and without using any additional training data from real users, we demonstrate improvements over state-of-the-art for estimating 2D gaze position on mobile devices. We further demonstrate cross-device generalization of model performance, as well as improved robustness to diverse head pose, blur and distance.

연구 동기 및 목표

• 실제 사용자에 의존할 경우 비용이 많이 들고 시간이 오래 걸리는 대규모, 다양한, 현실적인 시선 추정을 위한 눈 이미지 데이터셋을 수집하는 문제를 해결하기 위해.
• 기존의 GAN 기반 접근 방식에서 발생하는 모드 붕괴와 해상도 저하로 인해 현실성과 다양성이 떨어지는 합성 데이터 생성 방법의 한계를 극복하기 위해.
• 정확한 시선 방향 레이블을 유지하면서도 합성 이미지를 실재와 유사한 고해상도의 고질감 이미지로 변환하는 것을 가능하게 하며, 고해상도 이미지 번역을 실현하기 위해.
• 추가적인 실세계 훈련 데이터 없이도 다양한 머리 자세, 블러 및 기기 유형 간의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 제어 가능한 매개변수(자세, 조명, 시선 방향)를 갖춘 3D 눈 부위 시뮬레이터를 활용하여 정확한 시선 레이블이 부여된 합성 눈 이미지를 생성한다.
• 레이블이 없는 실재 얼굴 이미지에서 실재감 있는 피부 질감을 추출하여 합성 눈 부위의 시각적 다양성과 현실감을 향상시킨다.
• Park 등 (2019) 이 제안한 쌍방향 이미지 간 번역 프레임워크를 활용하여, 사전 훈련된 시선 추정기 기반의 새로운 시선 유지 제약 조건을 도입한다.
• 시선 예측 헤드를 인식적 제약 조건으로 포함한 순환 일致성 손실을 도입하여, 변환된 이미지가 원래의 시선 방향을 유지하도록 보장한다.
• 저해상도의 합성 이미지를 고해상도이고 현실적인 출력으로 매핑하기 위해 리파인어 네트워크를 사용하며, 누락된 영역(예: 가림된 눈꺼풀)을 보완한다.
• 특정 하이퍼파라미터(예: β₁ = 0.1, β₂ = 0.99)를 사용하여 Adam으로 생성자와 판별자를 훈련하고, 네트워크 아키텍처에 인스턴스 정규화와 leaky ReLU 활성화 함수를 적용한다.

실험 결과

연구 질문

• RQ1 쌍방향 실재-합성 데이터가 필요 없이 GAN 기반 프레임워크가 고해상도, 현실적인 눈 이미지를 정확한 2차원 시선 레이블과 함께 생성할 수 있는가?
• RQ2 시선 유지 제약 조건이 있는 순환 일치 GAN은 이전 방법 대비 합성 눈 이미지의 현실성과 다양성에서 어느 정도 향상되는가?
• RQ3 GazeGAN이 생성한 데이터로 훈련된 시선 추정 모델이 실사 사용자 데이터 없이도 모바일 기기에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 GazeGAN 데이터로 훈련된 시선 추정 모델은 머리 자세, 블러 및 기기 특성의 변화에 대해 얼마나 강건한가?

주요 결과

• 제안된 GazeGAN 프레임워크는 정확한 2차원 시선 레이블이 부여된 고해상도(예: 256×256), 색채가 풍부하고 현실적인 눈 부위 이미지를 성공적으로 생성한다.
• GazeGAN으로 합성된 데이터로만 훈련된 시선 추정 모델은 모바일 기기에서 최신 기술 수준의 방법들을 초월하여 MPIIGaze 벤치마크에서 평균 오차 1.25°를 기록한다.
• 다양한 기기 간에 잘 일반화되며, 블러나 큰 머리 자세 변화와 같은 도전적인 조건에서도 높은 정확도를 유지한다.
• 프레임워크는 도메인 이탈에 강건하며, 기기 간 평가에서 성능 향상을 보이며 강력한 일반화 능력을 보여준다.
• 합성 입력에서 누락된 영역(예: 가림된 눈꺼풀)을 보완하여 영상의 자연스러움과 훈련 데이터의 품질을 향상시킨다.
• 사전 훈련된 시선 추정기를 인식적 제약 조건으로 통합함으로써 생성된 이미지의 질감 향상과 함께 시선 정확도를 유지하는 데 크게 기여한다.