[논문 리뷰] Domain Adaptation Gaze Estimation by Embedding with Prediction Consistency

Zidong Guo, Zejian Yuan외 4명|arXiv (Cornell University)|2020. 11. 15.

Gaze Tracking and Assistive Technology참고 문헌 30인용 수 7

한 줄 요약

이 논문은 눈동자 방향 추정을 위한 비지도 도메인 적응 방법인 예측 일致성(예측 일致성, EPC)을 사용한 임bedding을 제안하여 개인 간 편향을 줄인다. 눈동자 공간과 임베딩 공간에서의 눈동자 방향 간 선형 관계를 강제함으로써 EPC 손실을 통해 도메인 분포의 변화를 최소화하며, 오직 눈 부위 입력만으로 MPIIGaze에서 9.66%의 오차 감소(4.14°에서 3.74°로), EYEDIAP에서는 18.9%의 오차 감소(5.3°에서 4.3°로)를 달성하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Gaze is the essential manifestation of human attention. In recent years, a series of work has achieved high accuracy in gaze estimation. However, the inter-personal difference limits the reduction of the subject-independent gaze estimation error. This paper proposes an unsupervised method for domain adaptation gaze estimation to eliminate the impact of inter-personal diversity. In domain adaption, we design an embedding representation with prediction consistency to ensure that the linear relationship between gaze directions in different domains remains consistent on gaze space and embedding space. Specifically, we employ source gaze to form a locally linear representation in the gaze space for each target domain prediction. Then the same linear combinations are applied in the embedding space to generate hypothesis embedding for the target domain sample, remaining prediction consistency. The deviation between the target and source domain is reduced by approximating the predicted and hypothesis embedding for the target domain sample. Guided by the proposed strategy, we design Domain Adaptation Gaze Estimation Network(DAGEN), which learns embedding with prediction consistency and achieves state-of-the-art results on both the MPIIGaze and the EYEDIAP datasets.

연구 동기 및 목표

• 주관 간 변동성으로 인해 주관 독립적 정확도가 제한되는 눈동자 방향 추정 문제를 해결하기 위해.
• 라벨이 없는 타겟 도메인 데이터를 요구하지 않고도 소스(학습) 도메인과 타겟(평가) 도메인 간 도메인 분포의 변화를 줄이기 위해.
• 비지도 도메인 적응을 통해 다양한 주관에 대해 더 강건한 눈동자 방향 추정 성능을 향상시키기 위해.
• 눈동자 공간과 임베딩 공간 간 선형 일致성을 유지하는 표현을 개발하여 일반화 성능을 향상시키기 위해.
• 오직 눈 부위 입력만을 사용하여 표준 눈동자 방향 추정 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 타겟 샘플의 눈동자 방향을 소스 도메인 이웃 샘플들의 국소 선형 조합으로 모델링함으로써 예측 일치성(예측 일치성, EPC)을 갖는 임베딩 표현을 설계한다.
• 소스 눈동자 공간에서의 동일한 선형 가중치를 소스 임베딩에 적용하여 임베딩 공간에서의 가설 임베딩을 생성함으로써 국소 구조를 유지한다.
• 각 타겟 샘플에 대해 예측된 임베딩와 가설 임베딩 간 L2 거리의 최소화를 위해 EPC 손실을 도입하여 도메인 불일치를 줄인다.
• 도메인 적응 눈동자 방향 추정 네트워크(DAGEN)는 이중 단계 전략을 사용하여 훈련한다: 소스 도메인에서의 사전 훈련 후 EPC 손실을 통한 도메인 적응.
• 이 방법은 ImageNet에서 사전 훈련된 ResNet-18 백본을 사용하여 소스 데이터에서 미세 조정함으로써 특징 표현을 향상시키고 국소 최적값을 피한다.
• 선택 간격 파라미터 μ는 국소 선형 근사에 사용되는 소스 샘플의 범위를 제어하며, 최적 성능은 μ = 0.15에서 달성된다.

실험 결과

연구 질문

• RQ1 눈동자 공간과 임베딩 공간 간 예측 일치성이 비지도 눈동자 방향 추정에서 도메인 분포 변화를 줄일 수 있는가?
• RQ2 라벨이 없는 타겟 도메인에서 소스 도메인 이웃을 사용한 국소 선형 임베딩은 눈동자 방향 추정 성능 향상에 얼마나 효과적인가?
• RQ3 임베딩 차원과 선택 간격 μ와 같은 하이퍼파라미터가 모델 성능에 미치는 영향은 무엇인가?
• RQ4 ImageNet과 소스 도메인에서의 사전 훈련이 도메인 적응을 통한 눈동자 방향 추정의 수렴성과 정확도 향상에 기여하는가?
• RQ5 제안된 EPC 손실이 개인 간 편향을 효과적으로 최소화하고 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 DAGEN 방법은 MPIIGaze 데이터셋에서 평균 절대 오차(MAE)를 9.66% 감소시켜 4.14°에서 3.74°로 감소시켰다.
• EYEDIAP 데이터셋에서는 MAE를 18.9% 향상시켜 오차를 5.3°에서 4.3°로 감소시켰다.
• 임베딩 차원 Fg의 변화에 대해 강건하며, Fg = {8, 16, 32, 64} 범위에서 성능 저하가 없어 강력한 일반화 성능을 보였다.
• ImageNet과 소스 도메인에서의 사전 훈련을 병행하면 최고의 성능(3.74° MAE)을 달성하여 상호 보완적 이점을 보였다.
• 선택 간격 μ = 0.15에서 최적 성능을 달성하였으며, 더 작은 μ 값은 학습 샘플 수가 부족하여 과적합을 유도하고 오차가 증가하는 원인이 되었다.
• 시각적 결과는 DAGEN이 고정된 편향을 크게 줄이며, 특히 어려운 조명 및 자세 조건에서 예측값과 진짜값 간의 편향을 효과적으로 감소시킴을 확인했다.