[논문 리뷰] ElSe: Ellipse Selection for Robust Pupil Detection in Real-World Environments

Wolfgang Fuhl, Thiago Santini외 2명|arXiv (Cornell University)|2015. 11. 20.

Gaze Tracking and Assistive Technology인용 수 42

한 줄 요약

ElSe는 반사, 다양한 조도 조건, 비축축 카메라 각도와 같은 도전적인 실세계 환경에서도 탐지 정확도를 향상시키기 위해 가장자리 필터링, 타원 평가 및 검증을 사용하는 강력하고 실시간 동작 가능한 학생 검출 알고리즘입니다. 자연 환경에서 촬영한 94,713장의 수작업 레이블이 부여된 눈 이미지 데이터셋에서 기존 최고 성능을 보인 ExCuSe 대비 평균 14.53% 향상된 탐지율을 달성했습니다.

ABSTRACT

Fast and robust pupil detection is an essential prerequisite for video-based eye-tracking in real-world settings. Several algorithms for image-based pupil detection have been proposed, their applicability is mostly limited to laboratory conditions. In realworld scenarios, automated pupil detection has to face various challenges, such as illumination changes, reflections (on glasses), make-up, non-centered eye recording, and physiological eye characteristics. We propose ElSe, a novel algorithm based on ellipse evaluation of a filtered edge image. We aim at a robust, resource-saving approach that can be integrated in embedded architectures e.g. driving. The proposed algorithm was evaluated against four state-of-the-art methods on over 93,000 hand-labeled images from which 55,000 are new images contributed by this work. On average, the proposed method achieved a 14.53% improvement on the detection rate relative to the best state-of-the-art performer. download:ftp://[e-mail]. de (password:eyedata).

연구 동기 및 목표

• 변동하는 조도, 반사, 비축축 카메라 위치와 같은 실세계 환경에서 기존 학생 검출 알고리즘의 낮은 내성 문제를 해결하기 위해.
• 차량 내 눈 추적기나 수술 보조 장치와 같은 임베디드 시스템에 적합한 경량이고 실시간 동작 가능한 알고리즘 개발을 위해.
• 향후 실세계 눈 추적 연구를 지원하기 위해 94,713장의 수작업 레이블이 부여된 고품질 공개 데이터셋을 구축하기 위해.
• 실습 환경이 아닌 동적인 비실험실 조건에서 정확한 자동 학생 검출을 통해 눈 추적 데이터의 수작업 후처리 필요성을 줄이기 위해.

제안 방법

• 알고리즘은 눈 이미지에서 가장자리를 추출하기 위해 Canny 가장자리 검출기를 적용한 후, 모폴로지 필터링을 통해 학생 유사 구조를 강화합니다.
• 어두운 원형 영역에서 높은 가장자리 대비를 보이는 후보 학생 영역을 식별하기 위해 컨volution 기반의 거친 위치 지정 방법을 사용합니다.
• 가장자리 점들로부터 후보 타원들을 생성하고, 종횡비, 면적, 반지름 일관성과 같은 기하학적 제약 조건을 바탕으로 최적의 타원을 선택합니다.
• 빛의 강도 기반 기준을 사용하여 선택된 타원을 검증하여 진짜 학생에 해당하는지 확인하고, 반사나 노이즈로 인한 가짜 양성 결과를 거부합니다.
• 최소 평균 선 거리, 유효성 임계값, 반지름 스케일링과 같은 핵심 파라미터를 조정하여 탐지 정확도와 가짜 양성 비율 간의 균형을 맞춥니다.
• 최종 검증 단계에서는 타원이 주변 밝기 프로파일과 일관성이 있는지 확인하여 알고리즘의 내성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 반사 및 변동하는 조도와 같은 실세계 조건에서 ElSe가 최첨단 학생 검출 알고리즘과 비교해 어떻게 성능을 내는가?
• RQ2 유효성 임계값, 최소 평균 선 거리, 반지름 스케일링과 같은 핵심 알고리즘 파라미터가 탐지 정확도와 가짜 양성 비율에 미치는 영향은 무엇인가?
• RQ3 가장자리 필터링, 타원 피팅, 기하학적 검증의 조합이 도전적인 비실험실 눈 추적 환경에서 강력한 학생 검출을 달성할 수 있는가?
• RQ4 제안된 알고리즘이 실시간 눈 추적 응용 프로그램에서 수작업 데이터 후처리의 필요성을 어느 정도 줄일 수 있는가?

주요 결과

• ElSe는 94,713장의 이미지로 구성된 전체 데이터셋에서 기존 최고 성능를 보인 베이스라인 메서드인 ExCuSe 대비 평균 14.53% 향상된 탐지율을 달성했습니다.
• 강한 반사, 비축축 카메라 각도, 변동하는 조도와 같은 극한의 조건에서도 높은 성능을 유지했으며, 모든 테스트 조건에서 SET, Starburst, Świrski et al.를 모두 앞섰습니다.
• 파라미터 조정 결과, 유효성 임계값이 탐지율과 가짜 양성 비율 간의 상호 보완적 관계에 가장 큰 영향을 미쳤으며, 높은 임계값은 가짜 양성 비율을 감소시키지만 약간의 탐지율 저하를 동반했습니다.
• 반지름 스케일링 파라미터는 런타임에 상당한 영향을 미쳤지만 탐지 정확도에 미치는 영향은 미미했으며, 최적의 값은 속도와 성능을 균형 잡는 데 기여했습니다.
• 실패 케이스는 주로 조밀한 작은 반사로 인해 가장자리 필터가 기능을 상실할 경우 발생했으며, 이는 데이터셋에서 흔한 상황이 아니었습니다.
• 저자들은 94,713장의 수작업 레이블이 부여된 전체 데이터셋과 ElSe 소스 코드를 공개하여 재현 가능성 및 향후 실세계 눈 추적 연구를 지원했습니다.