[논문 리뷰] L2CS-Net: Fine-Grained Gaze Estimation in Unconstrained Environments

Ahmed A. Abdelrahman, Thorsten Hempel외 2명|arXiv (Cornell University)|2022. 03. 07.

Gaze Tracking and Assistive Technology인용 수 5

한 줄 요약

L2CS-Net는 비제약 환경에서 정확도와 일반화 능력을 향상시키기 위해 두 개의 동일한 이중손실 브랜치를 사용하여 요각과 피치각을 별도로 회귀하는 새로운 CNN 기반의 시선 추정 모델을 제안한다. ℓ₂ 회귀 손실와 소프트맥스 레이어를 통한 시선 박스 예측을 위한 교차 엔트로피 분류 손실을 조합함으로써, MPIIGaze에서 3.92°의 평균 각도 오차, Gaze360에서 10.41°의 평균 각도 오차를 기록하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Human gaze is a crucial cue used in various applications such as human-robot interaction and virtual reality. Recently, convolution neural network (CNN) approaches have made notable progress in predicting gaze direction. However, estimating gaze in-the-wild is still a challenging problem due to the uniqueness of eye appearance, lightning conditions, and the diversity of head pose and gaze directions. In this paper, we propose a robust CNN-based model for predicting gaze in unconstrained settings. We propose to regress each gaze angle separately to improve the per-angel prediction accuracy, which will enhance the overall gaze performance. In addition, we use two identical losses, one for each angle, to improve network learning and increase its generalization. We evaluate our model with two popular datasets collected with unconstrained settings. Our proposed model achieves state-of-the-art accuracy of 3.92° and 10.41° on MPIIGaze and Gaze360 datasets, respectively. We make our code open source at https://github.com/Ahmednull/L2CS-Net.

연구 동기 및 목표

• 조명, 머리 자세, 눈의 외관이 크게 변하는 비제약 환경에서의 시선 추정 정확도 향상.
• 다양한 실제 환경 조건에서 일반화 능력에 한계가 있는 단일손실 CNN의 문제 해결.
• 각각의 완전히 연결된 레이어를 사용하여 요각과 피치각의 회귀를 분리함으로써 각각의 예측 정확도 향상.
• 시선 박스에 대한 회귀와 분류를 조합한 이중손실 메커니즘을 통해 네트워크의 일반화 능력 향상.
• MPIIGaze와 Gaze360와 같은 두 개의 주요 비제약 데이터셋에서의 강건성 검증.

제안 방법

• 이미지넷에서 미리 훈련된 ResNet-50 백본을 사용하여 눈 또는 얼굴 이미지의 특징을 추출한다.
• 각각의 요각과 피치각을 독립적으로 예측하기 위해 두 개의 별도된 완전히 연결된 레이어를 활용하여 각각의 각도에 대한 세밀한 최적화를 가능하게 한다.
• 이중손실 전략을 적용: 각 시선 각도는 이산적 시선 박스에 대한 ℓ₂ 회귀 손실과 교차 엔트로피 손실의 조합으로 감독된다.
• 소프트맥스 레이어를 사용하여 시선 박스 확률을 예측함으로써 각도 예측 오차에 대한 강건성 향상.
• 회귀 및 분류 구성 요소를 동시에 최적화하기 위해 두 손실을 동시에 역전파한다.
• 훈련 중에 회귀 계수(β)를 조정하여 두 손실 구성 요소 간의 균형을 맞추고 최적의 성능를 달성한다.

Fig. 1 : L2CS-Net with combined classification and regression losses.

실험 결과

연구 질문

• RQ1 요각과 피치각을 별도로 회귀하는 것이 비제약 환경에서의 시선 추정 정확도 향상에 기여하는가?
• RQ2 회귀와 분류 손실을 조합함으로써 다양한 조명, 자세, 눈의 외관 조건에서의 모델 일반화 능력 향상이 가능한가?
• RQ3 제안된 이중손실 아키텍처는 단일손실 기반 모델 대비 강건성과 정확도 측면에서 어떻게 비교되는가?
• RQ4 소프트맥스를 통한 시선 박스 분류가 실제 환경에서의 각도 예측 안정성 향상에 기여하는가?
• RQ5 비제약 환경에서의 시선 추정에 있어 회귀와 분류 손실 간의 최적의 트레이드오프는 무엇인가?

주요 결과

• L2CS-Net은 Table 1에 나열된 모든 이전 방법들을 능가하는 최신 기술 수준의 평균 각도 오차 3.92°를 기록하여 MPIIGaze 데이터셋에서 최고 성능을 달성했다.
• Gaze360 데이터셋에서 L2CS-Net은 전방 180° 평가에서 10.41°의 평균 각도 오차를 기록하여 새로운 SOTA 기준을 수립했다.
• Gaze360의 전방면 집합에서 L2CS-Net은 9.02°의 평균 각도 오차를 기록하여 제약된 시선 범위에서의 강건성 또한 추가로 입증했다.
• MPIIGaze에서의 주별 평가 결과, L2CS-Net은 15명의 피험자 중 11명에서 FARE-Net을 능가하여 개인별 성능 향상이 확인되었다.
• 제거 분석 결과, 시선 박스 분류를 포함한 이중손실 메커니즘이 일반화 능력 향상과 각도 오차 감소에 크게 기여하는 것으로 확인되었다.
• MPIIGaze에서 한 명의 피험자를 제외한 교차 검증과 Gaze360의 표준 분할을 통해 다양한 조건에서도 높은 성능 유지가 검증되었다.