[논문 리뷰] Improving Few-Shot User-Specific Gaze Adaptation via Gaze Redirection Synthesis

Yu Yu, Gang Liu외 1명|arXiv (Cornell University)|2019. 04. 24.

Gaze Tracking and Assistive Technology참고 문헌 46인용 수 7

한 줄 요약

이 논문은 제한된 기준 눈 이미지에서 다양한 실재성 있는 훈련 샘플을 생성하기 위해 눈 방향 재지정 합성 기반의 새로운 소수 샘플 사용자 특화 시선 적응 방법을 제안한다. 대규모 합성 데이터에서 사전 훈련된 시선 재지정 네트워크에 자기지도 학습 기반 도메인 적응을 적용함으로써, 9개의 사용자 특화 샘플만으로도 시선 추정 정확도를 향상시킬 수 있으며, ColumbiaGaze 및 MPIIGaze 데이터셋에서 표준 미세조정 및 도메인 적응 기준보다 뛰어난 성능을 보였다.

ABSTRACT

As an indicator of human attention gaze is a subtle behavioral cue which can be exploited in many applications. However, inferring 3D gaze direction is challenging even for deep neural networks given the lack of large amount of data (groundtruthing gaze is expensive and existing datasets use different setups) and the inherent presence of gaze biases due to person-specific difference. In this work, we address the problem of person-specific gaze model adaptation from only a few reference training samples. The main and novel idea is to improve gaze adaptation by generating additional training samples through the synthesis of gaze-redirected eye images from existing reference samples. In doing so, our contributions are threefold: (i) we design our gaze redirection framework from synthetic data, allowing us to benefit from aligned training sample pairs to predict accurate inverse mapping fields; (ii) we proposed a self-supervised approach for domain adaptation; (iii) we exploit the gaze redirection to improve the performance of person-specific gaze estimation. Extensive experiments on two public datasets demonstrate the validity of our gaze retargeting and gaze estimation framework.

연구 동기 및 목표

• 높은 레이블링 비용으로 인해 레이블이 부족한 눈 이미지 샘플만으로 정확한 사용자 특화 시선 추정을 달성하는 데 도전한다.
• 합성과 실제 눈 이미지 간의 개인 특화 시선 편향 및 도메인 차이를 줄인다.
• 소수의 기준 샘플에서부터 다양하고 실재성 있으며 정확하게 레이블이 매겨진 시선 방향을 가진 눈 이미지를 생성하여 적응 성능을 향상시킨다.
• 실제-합성 쌍 데이터가 필요 없는 자기지도 학습 기반 도메인 적응 방법을 개발한다.
• 시선 재지정 합성 기법이 단순한 미세조정을 넘어서 소수 샘플 시선 적응에 기여함을 입증한다.

제안 방법

• 정체성, 눈 위치, 머리 자세, 조명이 정렬된 대규모 합성 눈 이미지 쌍에서 사전 훈련된 시선 재지정 네트워크를 사용하여 정확한 역 왜곡 필드를 예측한다.
• 훈련 중에 합성 이미지의 세그먼테이션 맵을 정규화 조건으로 사용하여 공간 일관성을 향상시킨다.
• 실제 이미지 쌍이 없는 조건에서 사이클 일관성 손실과 시선 재지정 손실을 사용하여 합성 재지정 이미지를 실제 데이터와 정렬하는 자기지도 학습 기반 도메인 적응 전략을 도입한다.
• 재지정된 이미지를 증강 훈련 데이터로 사용하여 일반적인 시선 추정기의 사용자 특화 적응을 위한 미세조정을 수행한다.
• 재지정된 샘플이 실재성 있는 외관과 정확한 시선 진짜값을 유지하므로 개인 특화 편향을 줄이는 데 기여한다.
• 빛의 강도 보정 모듈을 탐색했지만, 색상/조명 왜곡으로 인한 성능 저하로 기각했다.

실험 결과

연구 질문

• RQ1 소수의 기준 눈 이미지에서 시선 재지정 합성을 통해 소수 샘플 사용자 특화 시선 적응을 향상시킬 수 있는가?
• RQ2 정렬된 쌍 데이터로 합성 데이터에서 사전 훈련함으로써 눈 랜드마크가 없어도 정확한 시선 재지정이 가능한가?
• RQ3 실제 및 합성 데이터 분포가 다를 경우 자기지도 학습 기반 도메인 적응이 시선 재지정 품질을 향상시킬 수 있는가?
• RQ4 시선 추정 정확도 측면에서 시선 재지정 합성 기법은 표준 미세조정 및 도메인 적응과 어떻게 비교되는가?
• RQ5 재지정된 샘플이 외관과 시선 일관성 측면에서 얼마나 실제 눈 이미지와 유사한가?

주요 결과

• 단지 9개의 사용자 특화 샘플만으로도 일반 모델을 그대로 사용하는 것보다 시선 추정 정확도가 크게 향상된다.
• 제안된 시선 재지정 합성 기법은 ColumbiaGaze 및 MPIIGaze 데이터셋에서 모두 표준 미세조정 및 도메인 적응 기준을 뛰어넘는 성능 향상을 보였다.
• 사이클 일관성과 시선 재지정 손실을 사용한 자기지도 학습 기반 도메인 적응 전략은 특히 합성과 실제 데이터 간 도메인 차이가 더 큰 ColumbiaGaze에서 성능 향상에 기여했다.
• 주관적 평가 결과, 참가자 66%가 실제와 재지정된 눈 이미지를 신뢰성 있게 구분하지 못했으며, 생성된 샘플의 높은 실재성 수준을 확인했다.
• 실제 대 재지정 이미지를 구분하는 데 소요되는 시간은 재지정 각도가 작을수록 길어지며, 미세한 변화가 더 감지하기 어려운 것을 확인했다.
• 큰 재지정 각도에 대해 고성능 샘플을 생성하는 데는 한계가 있으며, 이는 전체 시선 방향 공간의 커버리지가 제한됨을 의미한다.