[논문 리뷰] Labelled pupils in the wild: a dataset for studying pupil detection in unconstrained environments

Marc Tonsen, Xucong Zhang외 2명|arXiv (Cornell University)|2016. 03. 14.

Gaze Tracking and Assistive Technology참고 문헌 8인용 수 69

한 줄 요약

이 논문은 다양한 실외 환경에서 22명의 참가자로부터 촬영한 66개의 고속(95 FPS) 눈동자 영상으로 구성된 '자연 속 라벨링된 눈동자(LPW)' 데이터셋을 소개한다. 이 데이터셋은 제약 조건이 없는 조건에서 눈동자 검출 알고리즘의 성능을 평가할 수 있도록 하며, 조명, 시력 보조 기구, 해상도와 관련된 핵심 과제를 드러낸다.

ABSTRACT

We present labelled pupils in the wild (LPW), a novel dataset of 66 high-quality, high-speed eye region videos for the development and evaluation of pupil detection algorithms. The videos in our dataset were recorded from 22 participants in everyday locations at about 95 FPS using a state-of-the-art dark-pupil head-mounted eye tracker. They cover people of different ethnicities and a diverse set of everyday indoor and outdoor illumination environments, as well as natural gaze direction distributions. The dataset also includes participants wearing glasses, contact lenses, and make-up. We benchmark five state-of-the-art pupil detection algorithms on our dataset with respect to robustness and accuracy. We further study the influence of image resolution and vision aids as well as recording location (indoor, outdoor) on pupil detection performance. Our evaluations provide valuable insights into the general pupil detection problem and allow us to identify key challenges for robust pupil detection on head-mounted eye trackers.

연구 동기 및 목표

• 자연 환경에서 눈동자 검출 알고리즘을 평가하기 위한 현실적이고 제약이 없는 데이터셋의 부족을 해결하기 위해.
• 다양한 조명 및 환경 조건에서 다양한 참가자들로부터 고품질의 눈동자 추적 데이터를 수집하기 위해.
• 실제 환경의 변동성 하에서 최신 눈동자 검출 알고리즘의 강건성과 정확도를 평가하기 위해.
• 이미지 해상도, 시력 보조 기구(안경, 콘택트 렌즈, 메이크업) 및 기록 위치(실내/실외)가 검출 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 자연스러운 실내 및 실외 환경에서 어두운 눈동자 헤드마운트 눈동자 트래커를 사용해 66개의 고속(95 FPS) 눈동자 영역 영상을 확보하였다.
• 다양한 민족 배경을 가진 22명의 참가자들로부터 데이터를 수집하였으며, 안경, 콘택트 렌즈, 메이크업을 착용한 이들도 포함되었다.
• 학습 및 평가를 위한 검출 알고리즘을 위해 모든 영상을 정밀한 눈동자 진위값으로 주석 처리하였다.
• 다양한 조건에서 데이터셋에 대해 다섯 가지 최신 눈동자 검출 알고리즘의 벤치마크를 실시하였다.
• 이미지 해상도, 시력 보조 기구, 환경 설정(실내 대비 실외)에 따라 성능을 체계적으로 평가하였다.
• 정확도와 강건성을 평가하기 위해 표준 지표를 사용하였으며, 실제 환경에서의 일반화 능력에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 최신 눈동자 검출 알고리즘이 실제 환경에서 제약이 없는 눈동자 추적 데이터에서 어떻게 성능을 내는가?
• RQ2 이미지 해상도의 변화가 눈동자 검출 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 안경, 콘택트 렌즈, 메이크업과 같은 시력 보조 기구가 눈동자 검출 성능에 미치는 영향은 무엇인가?
• RQ4 기록 위치(실내 대비 실외)가 검출 신뢰성에 어떤 영향을 미치는가?
• RQ5 자연적이고 제약이 없는 조건에서 강력한 눈동자 검출을 달성하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 특히 동적 조명에 최적화되지 않은 알고리즘의 경우, 저조도 및 고반사 실외 조건에서 눈동자 검출 성능이 크게 떨어진다.
• 안경과 메이크업과 같은 시력 보조 기구는 상당한 과제를 야기하며, 특히 이 기구를 착용한 참가자들에서는 검출 정확도가 뚜렷이 떨어진다.
• 높은 이미지 해상도는 검출 정확도를 향상시키지만, 특정 임계값을 초과하면 성능 향상의 효과가 점점 줄어들어 수익 감소 현상이 나타난다.
• 제약 조건이 있는 데이터셋에서 학습된 알고리즘은 LPW 데이터셋에서 성능이 열악하게 나타나, 더 다양한 훈련 데이터가 필요함을 시사한다.
• 실외 기록에서는 예측 불가능한 조명과 운동으로 인해 검출 성능의 변동성이 더 높게 나타났다.
• 이 데이터셋은 현재 알고리즘이 자연스럽게 움직이는 참가자에서의 가림과 반사광 반사를 다루는 데 어려움을 겪고 있음을 드러낸다.