[논문 리뷰] Unobtrusive Low Cost Pupil Size Measurements using Web cameras

Sergios Petridis, Θεόδωρος Γιαννακόπουλος외 1명|arXiv (Cornell University)|2013. 11. 28.

Gaze Tracking and Assistive Technology참고 문헌 11인용 수 5

한 줄 요약

이 논문은 표준 웹캠을 사용하여 필터 기반 접근법을 통해 망막과 동공 영역을 탐지함으로써 실시간 동공 크기 추정을 위한 저비용이며 비침습적인 방법을 제시한다. 이 방법은 동공 지름 추정에서 85%의 정확도를 달성하며 평균 오차는 0.9mm이며, 일상 환경에서 노화, 피로 및 정서 상태의 장기적 건강 모니터링에 충분하다.

ABSTRACT

Unobtrusive every day health monitoring can be of important use for the elderly population. In particular, pupil size may be a valuable source of information, since, apart from pathological cases, it can reveal the emotional state, the fatigue and the ageing. To allow for unobtrusive monitoring to gain acceptance, one should seek for efficient methods of monitoring using com- mon low-cost hardware. This paper describes a method for monitoring pupil sizes using a common web camera in real time. Our method works by first detecting the face and the eyes area. Subsequently, optimal iris and sclera location and radius, modelled as ellipses, are found using efficient filtering. Finally, the pupil center and radius is estimated by optimal filtering within the area of the iris. Experimental result show both the efficiency and the effectiveness of our approach.

연구 동기 및 목표

• 저비용 소비자 하드웨어를 사용하여 노인의 비침습적이고 장기적인 생리적 모니터링을 가능하게 하기 위해.
• 표준 웹캠에서 얻은 저해상도, 가시광선 스펙트럼 영상에서 정확한 동공 크기 추정에 도전하기 위해.
• 특수 적외선 영상 없이도 동시에 망막 및 동공 중심과 반경을 탐지할 수 있는 강력하고 비지도 학습 기반의 방법을 개발하기 위해.
• 수동으로 애너테이션된 동공 영역과 크기를 포함한 새로운 데이터셋을 바탕으로 방법의 성능을 평가하기 위해.
• 일상적인 건강 모니터링 응용 분야에서 일반 웹캠을 사용하여 신뢰할 수 있고 실시간으로 동공 측정을 수행할 수 있는 가능성을 입증하기 위해.

제안 방법

• 얼굴 감지에는 50fps 이상의 속도로 고정확도의 얼굴 및 눈 영역 국소화를 제공하는 SHORE TM 시스템을 사용한다.
• 눈 영역 내에 적용된 선형 필터의 집합을 통해 망막과 공막을 탐지한다. 이는 반경, 밝기, 채도 및 대칭성에 최적화되어 있다.
• 망막, 공막, 피부의 세 영역 마스크를 사용하며, 빛의 밝기에 기반한 점수를 통해 어두운 망막 영역을 밝은 공막 영역과 대비시키기 위해 정규화된 가중치를 적용한다.
• 검출된 망막 영역 내에서 최적의 필터링을 통해 동공 중심과 반경을 추정하며, 순차적 필터링을 통해 오차를 최소화한다.
• 망막 및 동공 경계의 탐지 신뢰도를 극대화하기 위해 밝기, 채도 및 대칭성을 조합한 점수 함수를 사용한다.
• 수동으로 애너테이션된 1280×960 해상도의 50장의 이미지로 구성된 전용 데이터셋을 사용하여 동공 크기 추정의 정합성을 검증하며, 다수의 애너테이터 간 일致도는 F1, 정밀도 및 재현율로 측정된다.

실험 결과

연구 질문

• RQ1 저비용의 가시광선 스펙트럼 웹캠이 적외선 조명 없이도 정확하고 신뢰할 수 있는 동공 크기 추정을 수행할 수 있는가?
• RQ2 제안된 필터 기반 방법은 기존의 최첨단 눈 및 망막 감지 기법에 비해 중심과 반경 정확도에서 어떻게 비교되는가?
• RQ3 동공 탐지 성능이 피로 또는 정서 상태와 관련된 생리학적으로 의미 있는 동공 크기 변화를 탐지하는 데 얼마나 충분한가?
• RQ4 수동으로 애너테이션된 데이터셋에서 인간의 애너테이터 성능과 비교해 볼 때, 동공 크기 추정 정확도는 어떻게 되는가?
• RQ5 이 방법은 표준 소비자용 웹캠을 사용하여 장기적이고 비침습적인 생리적 상태 모니터링을 지원할 수 있는가?

주요 결과

• 제안된 방법은 망막 중심 탐지에서 99%의 내성 정확도(T=0.25)를 달성하여 대부분의 기존 방법을 능가하며, 문헌상 최고 성능과도 일치한다.
• 동공 크기 추정에 있어서 평균 F1 점수는 67%이며, 이는 다수의 애너테이터 간 일치도(79%)보다 12% 낮은 수준이지만, 강력한 인간 수준의 일致도를 보여준다.
• 이 방법은 동공 지름을 85%의 정확도로 추정하며, 6mm의 동공 기준 평균 오차는 0.9mm로 임상적으로 의미 있는 변화 기준인 2mm 이하이므로 충분히 우수하다.
• 다양한 눈 색깔과 조명 조건 변화에 대해 강건한 성능을 보이며, 데이터셋 내 다양한 눈 유형에서 일관된 성능을 입증하였다.
• 이 방법은 표준 웹캠을 사용하여 실시간, 비지도 학습 기반, 저비용의 동공 측정을 가능하게 하여 장기적 건강 모니터링 응용 분야에 적합하다.
• 본 연구는 동공 전체 영역 애너테이션이 포함된 공개 데이터셋의 부족을 지적하며, 평가를 위해 수동으로 애너테이션된 50장의 이미지로 구성된 새로운 데이터셋을 구축하고 공개하였다.