[논문 리뷰] APPD: Adaptive and Precise Pupil Boundary Detection using Entropy of Contour Gradients

Cihan Topal, Halil İbrahim Çakir외 1명|arXiv (Cornell University)|2017. 09. 19.

Gaze Tracking and Assistive Technology참고 문헌 45인용 수 3

한 줄 요약

이 논문은 눈물 경계를 적응적이고 정밀하게 검출하는 APPD를 제안한다. 이 방법은 윤곽의 기울기 엔트로피를 사용하여 거의 원형의 피로 세그먼트가 존재하는지 판단함으로써, 가시성이 확보된 경우 빠른 검출을 가능하게 하고, 가림이 발생한 경우 종합적인 특징 분석으로 전환한다. 이 방법은 720p 이미지에서 평균 5ms 이내의 런타임을 달성하며, 가림 상황에서도 최신 기술 대비 정확도와 내성에서 뛰어난 성능을 보인다.

ABSTRACT

Eye tracking spreads through a vast area of applications from ophthalmology, assistive technologies to gaming and virtual reality. Precisely detecting the pupil's contour and center is the very first step in many of these tasks, hence needs to be performed accurately. Although detection of pupil is a simple problem when it is entirely visible; occlusions and oblique view angles complicate the solution. In this study, we propose APPD, an adaptive and precise pupil boundary detection method that is able to infer whether entire pupil is in clearly visible by a heuristic that estimates the shape of a contour in a computationally efficient way. Thus, a faster detection is performed with the assumption of no occlusions. If the heuristic fails, a more comprehensive search among extracted image features is executed to maintain accuracy. Furthermore, the algorithm can find out if there is no pupil as an helpful information for many applications. We provide a dataset containing 3904 high resolution eye images collected from 12 subjects and perform an extensive set of experiments to obtain quantitative results in terms of accuracy, localization and timing. The proposed method outperforms three other state of the art algorithms and has an average execution time $\sim$5 ms in single-thread on a standard laptop computer for 720p images.

연구 동기 및 목표

• 가림 및 기울어진 시야 각도에 강건한 빠르고 정확한 피로 경계 검출 방법을 개발하기 위해.
• 비가림 상황에서는 전체 특징 분석을 건너뛰어 계산 비용을 줄이기 위해.
• 피로가 부분적으로 가려지거나 보이지 않을 경우에도 높은 정확도를 유지하기 위해.
• VR, 눈 추적, 생체 인식 등의 애플리케이션을 위한 표준 하드웨어에서 실시간 배포를 가능하게 하기 위해.
• 기준 비교를 위해 공개 가능한 고해상도 눈 이미지 3,904장으로 구성된 데이터셋을 제공하기 위해.

제안 방법

• 경계 윤곽의 기울기 분포의 엔트로피를 분석하여 거의 원형의 세그먼트가 존재하는지 탐지한다.
• 만약 거의 원형의 세그먼트가 감지되면, 알고리즘은 추출된 타원 호만을 사용하여 빠른 피로 검출을 수행한다.
• 그러한 세그먼트가 발견되지 않으면, 알고리즘은 모든 경계 세그먼트를 대상으로 전체 검색을 수행하여 타원 호를 추출한다.
• 타원 호는 RANSAC 기반 접근법을 사용하여 피로 경계와 중심을 추정한다.
• 기울기 엔트로피를 바탕으로 한 히우리스틱이 빠른 모드 또는 종합 모드를 선택하도록 하여 적응형 성능를 가능하게 한다.
• 최종 점검 단계를 포함하여 피로가 존재하지 않는 경우를 탐지할 수 있도록 하여 생체 인식 및 진단 응용에 유용하다.

실험 결과

연구 질문

• RQ1 기울기 엔트로피 분석이 거의 원형의 피로 세그먼트를 신뢰성 있게 식별하여 더 빠른 검출을 가능하게 할 수 있는가?
• RQ2 가림 상황에서 정확도를 희생시키지 않고 적응형 모드 선택이 성능을 어떻게 향상시키는가?
• RQ3 전체 특징 분석 대비 선택적 검출을 사용할 경우 속도와 정확도 사이의 상충 관계는 어떠한가?
• RQ4 제안된 방법이 고해상도 눈 이미지에서 표준 랩탑에서 실시간 성능를 달성할 수 있는가?
• RQ5 정량적으로 최신 기술 대비 피로 경계 검출 알고리즘의 국소화 정확도와 실행 시간에서의 성능 비교는 어떠한가?

주요 결과

• 표준 랩탑에서 720p 이미지당 평균 실행 시간이 약 5ms 이내로, 최대 185Hz에서 실시간 동작이 가능하다.
• 비가림 상황에서는 전체 호 추출을 피하기 때문에 계산량이 48% 감소하였으며, 평균 런타임은 3.82ms로 감소하였다.
• APPD는 세 가지 최신 기술 대비 정확도와 국소화 성능에서 모두 뛰어나며, 특히 가림 상황에서 뛰어난 성능을 보였다.
• 시험 케이스의 98.7%에서 피로가 존재하지 않는 것을 정확히 식별하여 생체 인식 및 의료 응용에 유용한 피드백을 제공한다.
• 12명의 피험자로부터 확득한 고해상도 눈 이미지 3,904장으로 구성된 제안된 데이터셋은 다양한 조건에서 강력한 정량적 평가를 가능하게 한다.
• 실행 시간 분석 결과 ROI 검출이 가장 비용이 많이 드는 단계이며(총 시간의 약 50%), 그 다음으로는 가림이 있을 경우의 후속 피로 검출 단계이다.