[논문 리뷰] A low cost non-wearable gaze detection system based on infrared image processing

Amir Arbabi, Mohammad Amin Shabani외 1명|arXiv (Cornell University)|2017. 09. 12.

Gaze Tracking and Assistive Technology참고 문헌 25인용 수 3

한 줄 요약

이 논문은 적은 비용으로 구현 가능한 비보조형 시선 추적 시스템을 제안한다. 적외선 영상 처리를 통해 동공과 마커를 탐지한 후, 보간 기반의 시선 추정 전략을 적용한다. 다양한 조명 조건에서 세 명의 사용자에게 적용한 결과, 주요 시선 방향을 식별하는 데 90–100%의 정확도를 달성하여, 비용에 민감한 일반 목적의 인간-컴퓨터 상호작용 응용 분야에 적합하다.

ABSTRACT

Human eye gaze detection plays an important role in various fields, including human-computer interaction, virtual reality and cognitive science. Although different relatively accurate systems of eye tracking and gaze detection exist, they are usually either too expensive to be bought for low cost applications or too complex to be implemented easily. In this article, we propose a non-wearable system for eye tracking and gaze detection with low complexity and cost. The proposed system provides a medium accuracy which makes it suitable for general applications in which low cost and easy implementation is more important than achieving very precise gaze detection. The proposed method includes pupil and marker detection using infrared image processing, and gaze evaluation using an interpolation-based strategy. The interpolation-based strategy exploits the positions of the detected pupils and markers in a target captured image and also in some previously captured training images for estimating the position of a point that the user is gazing at. The proposed system has been evaluated by three users in two different lighting conditions. The experimental results show that the accuracy of this low cost system can be between 90% and 100% for finding major gazing directions.

연구 동기 및 목표

• 일般 목적의 인간-컴퓨터 상호작용에 적합한 저비용 비보조형 시선 추적 시스템을 개발하기 위해.
• 기존의 눈 추적 시스템이 너무 비싸거나 너무 복잡하여 광범위한 배포에 어려움을 겪는 문제를 해결하기 위해.
• 높은 구현 간편성과 저비용을 우선시하여 정밀도는 중간 정도로 유지하면서 접근성에 중점을 두기 위해.
• 하나의 시선 정밀도가 마이크로미터 수준이 되어야 하는 응용 분야보다는 비용과 설치 용이성이 우선되는 환경에서 실용적인 배치를 가능하게 하기 위해.

제안 방법

• 적외선 영상 촬영을 통해 동공과 주변 조직 간 대비를 향상시켜 시각적 대비를 높인다.
• 캡처된 적외선 영상에서 동공과 기준 마커(예: 반사 점)를 탐지하기 위해 영상 처리 기법을 적용한다.
• 실시간 영상에서 탐지된 동공과 마커의 상대적 위치를 기반으로 보간 전략을 적용하여 해당 위치에 대응하는 시선 지점을 추정한다.
• 사전에 촬영된 훈련 영상 세트를 사용하여 보간 모델을 캘리브레이션하며, 이는 알려진 시선 목표를 포함한다.
• 다수의 영상에서 동공과 마커 간 기하학적 관계를 기반으로 사용자의 시선 지점(시선의 초점)을 추정한다.
• 보조 장치 없이도 표준 적외선 카메라를 사용하여 수동적이고 비방해적인 시선 추적을 구현한다.

실험 결과

연구 질문

• RQ1 저비용 비보조형 시선 추적 시스템이 일반 목적의 응용 분야에서 만족스러운 정확도를 달성할 수 있는가?
• RQ2 다양한 조명 조건에서 보간 기반의 시선 추정 전략은 어떤 성능을 보이는가?
• RQ3 동공과 마커의 위치 정보만을 사용할 경우, 시스템의 정확도와 견고성에 어떤 영향을 미치는가?
• RQ4 특수 하드웨어 없이도 적외선 영상 처리 기반의 시스템이 신뢰할 만한 시선 추적을 수행할 수 있는가?
• RQ5 기존 상용 눈 추적 장치와 비교했을 때, 이 시스템은 비용과 복잡성 측면에서 어떤 성능을 보이는가?

주요 결과

• 세 명의 테스트 사용자에게서 주요 시선 방향을 식별하는 데 시스템의 정확도가 90%에서 100% 사이를 기록했다.
• 두 가지 다른 조명 조건에서도 성능이 안정적으로 유지되어 환경적 변화에 대한 견고성을 입증했다.
• 보간 기반 전략은 최소한의 훈련 데이터셋을 사용하여 동공과 마커의 위치를 효과적으로 해당 시선 지점에 매핑했다.
• 계산 복잡도가 낮아 저비용 하드웨어에서도 실시간 동작이 가능했다.
• 비보조형 설계 덕분에 사용자 불편감과 설정 복잡성이 제거되어 장기간 또는 반복 사용에 있어 사용성 향상이 뒤따랐다.
• 정밀도가 매우 높을 필요가 없는 응용 분야에서는 고비용 상용 눈 추적 장치의 실질적인 대안을 제공한다.