[논문 리뷰] ESCaF: Pupil Centre Localization Algorithm with Candidate Filtering

Anjith George, Aurobinda Routray|arXiv (Cornell University)|2018. 07. 27.

Gaze Tracking and Assistive Technology참고 문헌 14인용 수 5

한 줄 요약

이 논문은 실제 환경 조건에서 근적외선(NIR) 영상에 대한 강건한 학습자 중심 국산화 알고리즘인 ESCaF를 제안한다. 강도와 에지 정보를 융합하고 다단계 후보 필터링 방법 및 추적 기반 기법을 결합하여, 대규모 Labelled Pupil in the Wild (LPW) 데이터셋에서 최신 기술 수준의 정확도와 실시간 성능를 달성하였으며, 평균 프레임당 처리 시간은 9.9 ms이다.

ABSTRACT

Algorithms for accurate localization of pupil centre is essential for gaze tracking in real world conditions. Most of the algorithms fail in real world conditions like illumination variations, contact lenses, glasses, eye makeup, motion blur, noise, etc. We propose a new algorithm which improves the detection rate in real world conditions. The proposed algorithm uses both edges as well as intensity information along with a candidate filtering approach to identify the best pupil candidate. A simple tracking scheme has also been added which improves the processing speed. The algorithm has been evaluated in Labelled Pupil in the Wild (LPW) dataset, largest in its class which contains real world conditions. The proposed algorithm outperformed the state of the art algorithms while achieving real-time performance.

연구 동기 및 목표

• 일조 변화, 움직임 블러, 가림 등 실제 환경 도전 과제에 대해 안정적으로 작동하는 강건한 학습자 중심 국산화 알고리즘을 개발하는 것.
• 특수 광학 장치나 조명 장치에 의존하지 않고, 일반 소매 웹캠과 적외선 LED를 사용하여 작동할 수 있도록 하는 것.
• 강도 및 에지 특징을 융합한 하이브리드 접근법을 통해 검출 정확도와 처리 속도를 향상시키는 것.
• 간단하면서도 효과적인 학습자 추적 기반 기법을 통해 검출 안정성 향상과 계산 부담 감소를 도모하는 것.
• 실제 환경 적용 가능성을 입증하기 위해 대규모이고 다양한 조건의 실외 환경 데이터셋에서 알고리즘을 평가하는 것.

제안 방법

• 알고리즘은 이중 단계 접근법을 사용한다: 먼저 기울기 기반 방법을 통해 에지를 검출하고, 그 다음 강도 분포를 분석하여 잠재적 학습자 후보를 식별한다.
• 다단계 후보 필터링 과정은 각 후보에 대해 에지 강도와 강도 균일성을 융합한 우수도 함수를 사용하여 최적 추정치를 선별한다.
• 이미지 조건에 따라 에지 기반 검출과 강도 기반 검출 간에 동적으로 전환함으로써 강건성을 향상시킨다.
• 추적 기반 기법을 통합하여 다음 프레임에서 검색 범위를 줄여 처리 속도 향상과 검출 안정성 향상을 도모한다.
• 스케일 스페이스 분석을 활용하여 후보 선택을 정밀화하고 국산화 정확도를 향상시킨다.
• 구현은 파이썬을 사용하며, 향후 런타임 성능 향상을 위해 C++로의 최적화 가능성을 고려한다.

실험 결과

연구 질문

• RQ1 일조 변화나 가림과 같은 실제 환경 조건에서도 높은 정확도를 달성할 수 있는 학습자 중심 국산화 알고리즘이 존재할 수 있는가?
• RQ2 강도 및 에지 특징를 효과적으로 융합하여 학습자 검출의 강건성을 향상시킬 수 있는가?
• RQ3 직접 타원형 피팅을 사용하는 것과 비교해 후보 필터링 메커니즘이 검출 정확도 향상에 얼마나 기여하는가?
• RQ4 추적 기반 기법을 통합함으로써 영상 시퀀스에서 처리 속도 향상과 검출 안정성 향상이 얼마나 향상되는가?
• RQ5 대규모 실외 환경 데이터셋에서 최신 기술 수준의 방법을 초월하면서도 실시간 성능 유지를 유지할 수 있는가?

주요 결과

• ESCaF는 학습자 중심 국산화를 위한 가장 큰 실외 환경 데이터셋인 Labelled Pupil in the Wild (LPW) 데이터셋에서 모든 최신 기술 수준 알고리즘을 능가하였다.
• 추적 기반 기법을 사용할 경우 평균 프레임당 처리 시간이 9.9 ms로 실시간 성능를 확보하였으며, 추적 기반 없이 사용할 경우 14.28 ms로 측정되어 실시간 처리 가능성을 입증하였다.
• 추적 기반 기법은 검색 범위를 제한함으로써 계산 부담을 감소시키고 검출 성공률를 향상시켰다.
• 에지 기반과 강도 기반 검출 간 동적 전환 기반의 하이브리드 접근법은 한 모달리티가 반사나 블러로 인해 실패했을 경우에도 강건성을 확보했다.
• 강도 기반 필터링 단계는 에지 검출에 실패한 경우에도 검출 복구에 성공하여 임의 경고 수를 감소시켰다.
• 특수 하드웨어 없이도 운동 블러, 콘택트 렌즈, 메이크업, 반사 등의 실제 환경 도전 과제에 대해 매우 높은 내성성을 보였다.