[논문 리뷰] PupilNet: Convolutional Neural Networks for Robust Pupil Detection

Wolfgang Fuhl, Thiago Santini외 2명|arXiv (Cornell University)|2016. 01. 19.

Gaze Tracking and Assistive Technology참고 문헌 23인용 수 119

한 줄 요약

두 단계 합성곱 신경망 파이프라인으로 강건하고 실시간 동공 검출을 달성하여 최첨단 방법보다 우수하며, 특히 실제 환경 조건에서 뛰어납니다.

ABSTRACT

Real-time, accurate, and robust pupil detection is an essential prerequisite for pervasive video-based eye-tracking. However, automated pupil detection in real-world scenarios has proven to be an intricate challenge due to fast illumination changes, pupil occlusion, non centered and off-axis eye recording, and physiological eye characteristics. In this paper, we propose and evaluate a method based on a novel dual convolutional neural network pipeline. In its first stage the pipeline performs coarse pupil position identification using a convolutional neural network and subregions from a downscaled input image to decrease computational costs. Using subregions derived from a small window around the initial pupil position estimate, the second pipeline stage employs another convolutional neural network to refine this position, resulting in an increased pupil detection rate up to 25% in comparison with the best performing state-of-the-art algorithm. Annotated data sets can be made available upon request.

연구 동기 및 목표

• 자연 환경에서 비디오 기반 아이 트래킹을 위한 강건하고 실시간 동공 검출 동기를 제시합니다.
• 노이즈를 줄이고 동공 위치 추정을 정교하게 하는 이중 단계 CNN 파이프라인을 제안합니다.
• GPU를 필요로 하지 않는 모바일 아이 트래커에 적합한 효율적 계산을 가능하게 합니다.
• 실세계의 아티팩트가 포함된 크고 도전적인 데이터셋에서 접근법을 평가합니다.

제안 방법

• 입력 이미지를 다운스케일하고 겹치는 24x24 서브리전으로 분할합니다.
• Stage 1: 얕은 CNN이 서브리전을 평가하여 대략적인 동공 위치를 산출합니다(0-1 등급).
• Stage 2: 원본 이미지에서 대략 위치 주변의 89x89 영역을 샘플링하고 두 번째 CNN으로 정밀하게 보정합니다.
• 학습은 고정 학습률의 감독 배치 경사하강법을 사용합니다; 정규화는 없습니다.
• 온라인 동공 중심 검출을 위한 온라인 데이터 생성 워크플로우를 제공합니다.

실험 결과

연구 질문

• RQ1 이중 CNN 파이프라인이 조도 변화, 가림 및 반사에 대해 동공 검출의 강건성을 향상시킬 수 있을까요?
• RQ2 대략-정밀(localization)으로 계산을 줄이면서도 정확도를 유지하거나 향상시킬 수 있을까요?
• RQ3 제안된 방법이 도전적인 실제 데이터셋에서 최첨단 동공 검출 알고리즘과 어떻게 비교됩니까?

주요 결과

• 이중 단계 CNN 파이프라인은 도전적인 실제 데이터에서 최첨단 방법보다 더 높은 동공 검출률을 보입니다.
• 정밀 위치 추정 CNN들 FK8P8과 SK8P8은 각각 최상의 최신 알고리즘보다 약 25%와 15%의 성능 차이로 능가합니다.
• CK8P8 구성의 대략 위치 지정은 성능 이점을 제공하며 더 긴 학습(ext)으로 더 나은 결과를 얻을 수 있습니다.
• 이 접근 방식은 일반적인 모바일 CPU 하드웨어에서 GPU 없이도 실시간 가능성을 달성합니다.