[논문 리뷰] LNSMM: Eye Gaze Estimation With Local Network Share Multiview Multitask

Yong Huang, Ben M. Chen외 1명|arXiv (Cornell University)|2021. 01. 18.

Gaze Tracking and Assistive Technology참고 문헌 20인용 수 4

한 줄 요약

이 논문은 지역 공유 네트워크와 다중시점 다중작업 학습을 활용한 동시 시선 점 및 시선 방향 추정을 위한 새로운 딥러닝 프레임워크인 LNSMM을 제안한다. 시선 방향에 대한 공면 조건과 시선 점 추정을 위한 시차 시각 풀링을 활용함으로써, 고유의 다중시점 데이터셋과 공개 데이터셋에서 모두 최신 기술 수준의 성능을 달성한다. 시선 점 추정(평균 오차 3.9°)과 시선 방향 추정(4.70°) 모두에서 기존 방법들을 능가한다.

ABSTRACT

Eye gaze estimation has become increasingly significant in computer vision.In this paper,we systematically study the mainstream of eye gaze estimation methods,propose a novel methodology to estimate eye gaze points and eye gaze directions simultaneously.First,we construct a local sharing network for feature extraction of gaze points and gaze directions estimation,which can reduce network computational parameters and converge quickly;Second,we propose a Multiview Multitask Learning (MTL) framework,for gaze directions,a coplanar constraint is proposed for the left and right eyes,for gaze points,three views data input indirectly introduces eye position information,a cross-view pooling module is designed, propose joint loss which handle both gaze points and gaze directions estimation.Eventually,we collect a dataset to use of gaze points,which have three views to exist public dataset.The experiment show our method is state-of-the-art the current mainstream methods on two indicators of gaze points and gaze directions.

연구 동기 및 목표

• 기존의 시선 점 및 시선 방향 추정 방법이 서로 별도로 다루며 상호 의존성을 忽시하는 한계를 해결하기 위해.
• 다중시점 입력을 통해 시선 점과 시선 방향을 동시에 모델링하여 정확도와 강인성을 향상시키기 위해.
• 지역 공유 네트워크 아키텍처를 통해 모델 복잡도를 감소시키고 수렴 속도를 향상시키기 위해.
• 다중시점 데이터를 활용하여 가림 및 반사광 현상 등 도전적인 조건에서도 성능을 향상시키기 위해.
• 세 명의 시점에서 데이터를 수집한 새로이 확보한 다중시점 데이터셋을 기반으로 방법을 검증하기 위해.

제안 방법

• 지역 공유 네트워크를 설계하여 시선 점 및 시선 방향 추정을 위한 특징을 추출함으로써 파라미터를 감소시키고 학습 효율성을 향상시킨다.
• 좌우 눈의 시선 방향이 동일한 평면 상에 위치하도록 제약을 두는 다중시점 다중작업 학습(MTL) 프레임워크를 제안한다.
• 시선 점 추정을 위해, 세 시점의 특징을 융합하는 시차 시각 풀링 모듈을 도입하여 눈의 위치 정보를 암묵적으로 인코딩한다.
• 시선 점 및 시선 방향 추정을 동시에 최적화하기 위해 공동 손실 함수를 도입한다.
• 다중시점 입력(세 개의 시점)을 사용하여, 특히 안경 착용 시나리오에서의 가림 및 반사광에 대한 강인성을 향상시킨다.
• 백본 네트워크는 지역 가중치 공유를 갖춘 ResNeXt-36 기반으로, 계산 비용을 감소시키면서도 특징 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 시선 점과 시선 방향 추정을 동시에 최적화하여 정확도를 향상시키고 상호 의존성을 효과적으로 활용할 수 있는가?
• RQ2 다중시점 입력은 시선 추정에서 노이즈와 가림을 줄이는 데 어떤 영향을 미치는가?
• RQ3 지역 공유 네트워크 아키텍처는 성능을 저하시키지 않은 채 모델 파라미터를 감소시키고 수렴 속도를 향상시킬 수 있는가?
• RQ4 좌우 눈의 시선 방향에 대한 공면 조건은 추정 정확도를 어떻게 향상시키는가?
• RQ5 제안된 방법은 안경 착용과 같은 다양한 눈 상태에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 LNSMM 방법은 저자들이 확보한 고유의 다중시점 데이터셋에서 시선 점 추정 평균 오차 3.9°를 달성하여 비교된 모든 방법들을 능가한다.
• MPIIGaze 데이터셋에서 시선 방향 추정 평균 각도 오차 4.70°를 기록하여, 다음으로 우수한 방법보다 0.61° 우수하다.
• 다중시점 입력 사용이 성능 향상에 기여하며, 특히 가림과 반사 현상이 더 두드러지는 안경 착용자에 대해 유의미하게 향상된다.
• 지역 공유 네트워크(ResNeXt-36)는 모델 복잡도를 감소시키고 수렴 속도를 향상시키며, 비공유 버전 대비 뛰어난 성능을 보인다.
• 시차 시각 풀링 모듈은 다중시점 정보를 효과적으로 통합하여 눈의 위치 정보를 활용함으로써 시선 점 추정 정확도를 향상시킨다.
• 좌우 눈의 시선 방향에 대한 공면 조건은 대칭적이고 일관된 3차원 시선 모델링을 위해 특히 시선 방향 추정 정확도를 크게 향상시킨다.