[논문 리뷰] Labeled pupils in the wild: A dataset for studying pupil detection in unconstrained environments

Marc Tonsen, Xucong Zhang외 2명|MPG.PuRe (Max Planck Society)|2015. 11. 18.

Gaze Tracking and Assistive Technology참고 문헌 6인용 수 36

한 줄 요약

이 논문은 실내 및 실외 환경에서 약 95FPS로 촬영한 22명의 참가자로부터 수집한 66개의 눈동자 영역 영상으로 구성된 고품질, 고속의 Labeled Pupils in the Wild (LPW) 데이터셋을 소개한다. 이 데이터셋은 실제 조건에서 당실 검출 알고리즘의 벤치마킹을 가능하게 하며, 조명, 안경, 메이크업, 해상도 제약 등으로 인한 성능 저하를 드러낸다.

ABSTRACT

We present labelled pupils in the wild (LPW), a novel dataset of 66 high-quality, high-speed eye region videos for the development and evaluation of pupil detection algorithms. The videos in our dataset were recorded from 22 participants in everyday locations at about 95 FPS using a state-of-the-art dark-pupil head-mounted eye tracker. They cover people with different ethnicities, a diverse set of everyday indoor and outdoor illumination environments, as well as natural gaze direction distributions. The dataset also includes participants wearing glasses, contact lenses, as well as make-up. We benchmark five state-of-the-art pupil detection algorithms on our dataset with respect to robustness and accuracy. We further study the influence of image resolution, vision aids, as well as recording location (indoor, outdoor) on pupil detection performance. Our evaluations provide valuable insights into the general pupil detection problem and allow us to identify key challenges for robust pupil detection on head-mounted eye trackers.

연구 동기 및 목표

• 헤드마운트된 눈동자 추적 시스템에서 눈동자 검출을 평가하기 위한 대규모 실생활 데이터셋의 부족을 해결한다.
• 다양한 조명 조건, 인종, 시력 보조 기구(안경, 콘택트 렌즈), 메이크업을 포함한 벤치마크 데이터셋을 제공한다.
• 실제 환경 조건에서 최신 눈동자 검출 알고리즘의 성능을 평가하여 핵심 성능 과제를 규명한다.
• 이미지 해상도, 실외 대비 실내 촬영, 시력 보조 기구의 영향이 검출 정확도에 미치는 영향을 조사한다.

제안 방법

• 어두운 눈동자 헤드마운트 눈동자 추적기로 자연스러운 실내 및 실외 환경에서 22명의 참가자로부터 66개의 고속 눈동자 영역 영상(640×480, 약 95FPS)을 촬영하였다.
• 다양한 민족, 눈 색깔, 얼굴 형상, 안경 착용 여부 및 메이크업 사용 여부를 포함한 다양한 인구 통계적 배경에서 데이터를 수집하였다.
• 평가를 위한 지상 진실을 만들기 위해 모든 프레임을 수작업으로 정밀한 눈동자 타원 및 중심 위치로 주석 처리하였다.
• 평균 검출 오차 및 누적 오차 분포와 같은 지표를 사용하여 다섯 가지 최신 눈동자 검출 알고리즘을 이 데이터셋에서 평가하였다.
• 해상도(480p에서 240p까지 내림), 실외 대비 실내 장면, 안경/메이크업 유무에 대한 분석 실험을 수행하였다.
• 다양한 해상도 간 공정한 비교를 위해 오차 지표를 이미지 너비로 정규화하였다.

실험 결과

연구 질문

• RQ1 다양한 조명 및 외관 조건을 가진 대규모 실생활 데이터셋에서 현재의 눈동자 검출 알고리즘이 어떻게 성능을 내는가?
• RQ2 직접적인 햇빛과 그림자 포함 실외 조명이 눈동자 검출 정확도에 어떤 영향을 미치는가?
• RQ3 안경 및 메이크업과 같은 시력 보조 기구가 기존 눈동자 검출 방법의 견고성에 어떤 영향을 미치는가?
• RQ4 눈동자 검출에 최적의 이미지 해상도는 무엇이며, 저해상도에서 성능은 어떻게 저하되는가?
• RQ5 실내 및 실외 촬영 환경 간 눈동자 검출 알고리즘의 성능은 어떻게 다를까?

주요 결과

• 실외 장면에서는 오차가 50px 이내인 검출 비율이 약 50%에 그치는 반면, 실내 장면에서는 60%로 나타나 자연광 조건에서 성능 저하가 뚜렷하게 드러났다.
• 안경 착용 참가자로 인해 모든 평가된 알고리즘이 심각한 성능 저하를 보였으며, 강한 반사와 부분적인 눈동자 가림이 주요 과제로 나타났다.
• 메이크업은 눈동자 검출을 심각하게 방해하였으며, 큰 어두운 영역이나 강한 윤곽을 탐지하도록 설계된 알고리즘이 메이크업을 눈동자로 잘못 판단하는 경우가 많았다.
• Isophote 및 Gradient 검출기는 내부적으로 80×35로 리샘플링하기 때문에 다양한 해상도에서 일관된 성능을 유지했지만, 다른 알고리즘들은 저해상도에서 성능이 저하되었다.
• 놀랍게도 Swirski 및 ExCuSe는 240p에서 480p보다 더 높은 성능을 보였으며, 이는 높은 해상도에서 노이즈가 성능 저하를 유발할 수 있음을 시사한다.
• 어려운 조건에서 어느 알고리즘도 절반 이상의 경우에서 충분한 정확도를 확보하지 못했으며, 이는 현재 방법의 근본적인 한계를 보여준다.