[논문 리뷰] Appearance-Based 3D Gaze Estimation with Personal Calibration.

Erik van der Linden, Jonas Sjöstrand외 1명|arXiv (Cornell University)|2018. 07. 02.

Gaze Tracking and Assistive Technology참고 문헌 17인용 수 12

한 줄 요약

이 논문은 개인 캘리브레이션을 딥러닝 모델에 통합한 외관 기반 3D 시선 추정 방법을 제안하며, 눈별 6개의 매개변수(각각 3개씩)를 통해 정확도를 2.2–2.5배 향상시킵니다. 3D 시선 방사선(시작점과 방향)을 예측함으로써 일반화 능력이 향상되고, 기존 데이터에서 3D 시선이 과소정의된 상태임에도 불구하고 MPIIGaze 데이터셋에서 개인별 기준선보다 뛰어난 성능을 달성합니다.

ABSTRACT

We propose a way to incorporate personal calibration into a deep learning model for video-based gaze estimation. Using our method, we show that by calibrating six parameters per person, accuracy can be improved by a factor of 2.2 to 2.5. The number of personal parameters, three per eye, is similar to the number predicted by geometrical models. When evaluated on the MPIIGaze dataset, our estimator performs better than person-specific estimators. To improve generalization, we predict gaze rays in 3D (origin and direction of gaze). In existing datasets, the 3D gaze is underdetermined, since all gaze targets are in the same plane as the camera. Experiments on synthetic data suggest it would be possible to learn accurate 3D gaze from only annotated gaze targets, without annotated eye positions.

연구 동기 및 목표

• 딥러닝 모델에 개인 캘리브레이션을 통합하여 영상 기반 시선 추정 정확도를 향상시키는 것.
• 눈 위치 애너테이션의 정밀도에 의존도를 줄이기 위해 2D 시선 벡터 대신 3D 시선 방사선(시작점과 방향)을 예측하는 것.
• 눈 위치 애너테이션을 요구하지 않고도 애너테이션된 시선 목표물만으로 3D 시선 표현을 학습함으로써 모델 일반화 능력을 향상시키는 것.
• 실제 세계 데이터셋에서 모든 시선 목표물이 한 평면에 제약을 받는 상황에서도 3D 시선 추정이 효과적으로 학습될 수 있음을 보여주는 것.

제안 방법

• 모델은 단일 영상 입력에서 3D 시선 방사선(시작점과 방향)을 예측하기 위해 딥 네ural 네트워크를 사용하며, 이는 2D 시선 추정보다 더 우수한 일반화 능력을 제공합니다.
• 개인 캘리브레이션은 눈별로 3개씩 총 6개의 학습 가능한 매개변수를 통해 구현되며, 이는 모델의 내부 표현을 개인의 눈 특성에 맞게 조정합니다.
• 네트워크는 시선 목표물이 한 평면에 제약을 받는 MPIIGaze 데이터셋에서 훈련됩니다. 이는 실세계 데이터 제약 조건을 시뮬레이션합니다.
• 합성 데이터 실험 결과, 눈 위치 애너테이션을 요구하지 않고도 애너테이션된 시선 목표물만으로도 정확한 3D 시선 추정이 가능함을 확인했습니다.
• 3D 시선 방사선 예측은 엔드 투 엔드로 최적화되어 데이터로부터 기하학적 제약 조건을 암묵적으로 학습할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 개인 캘리브레이션은 딥러닝 모델에서 3D 시선 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 눈 위치 애너테이션 없이도 애너테이션된 시선 목표물만으로 3D 시선 추정을 어느 정도 학습할 수 있는가?
• RQ3 3D 시선 방사선(시작점과 방향)을 예측하는 것이 2D 시선 벡터 예측에 비해 일반화 능력을 어떻게 향상시키는가?
• RQ4 모든 시선 목표물이 한 평면에 제약을 받는 훈련 데이터 상황에서 딥러닝 모델이 높은 정확도의 3D 시선 추정을 달성할 수 있는가?

주요 결과

• 제안된 방법은 개인 캘리브레이션을 적용하지 않은 기준선 대비 시선 추정 정확도를 2.2~2.5배 향상시켰습니다.
• 모델은 개인별 기준선 추정기보다 MPIIGaze 데이터셋에서 더 뛰어난 성능을 보였으며, 이는 개인 캘리브레이션을 통한 공유 아키텍처를 사용했음에도 불구하고 성립합니다.
• 합성 데이터 실험 결과, 눈 위치 애너테이션을 요구하지 않고도 애너테이션된 시선 목표물만으로도 정확한 3D 시선 추정이 가능함을 확인했습니다.
• 3D 시선 방사선을 예측함으로써 더 나은 일반화 능력이 확보되었으며, 모델이 데이터로부터 기하학적 제약 조건을 암묵적으로 학습하기 때문입니다.