[논문 리뷰] IMAGE BASED EYE GAZE TRACKING AND ITS APPLICATIONS

Anjith George|arXiv (Cornell University)|2017. 01. 01.

Gaze Tracking and Assistive Technology참고 문헌 157인용 수 2

한 줄 요약

이 논문은 표준 웹캠과 헤드셋 카메라를 사용하여 저비용이고 내구성이 뛰어난 눈의 시선 추적 시스템을 제안한다. 이는 두 단계의 피mnop 중심 국지화 알고리즘과 CNN 기반의 시선 분류기를 활용하여 운동 왜곡, 반사광, 다양한 조명 조건과 같은 도전적인 조건에서도 실시간으로 사용자에 관계없이 시선 추정을 가능하게 한다. 주요 기여는 사용자별 校정이 필요 없고, 생체 인식 및 엑오세트릭 활동 인식에 활용 가능한 완전히 이미지 기반의 프레임워크를 제공한다는 점이다.

ABSTRACT

Eye movements play a vital role in perceiving the world. Eye gaze can give a direct indication of the users point of attention, which can be useful in improving human-computer interaction. Gaze estimation in a non-intrusive manner can make human-computer interaction more natural. Eye tracking can be used for several applications such as fatigue detection, biometric authentication, disease diagnosis, activity recognition, alertness level estimation, gaze-contingent display, human-computer interaction, etc. Even though eye-tracking technology has been around for many decades, it has not found much use in consumer applications. The main reasons are the high cost of eye tracking hardware and lack of consumer level applications. In this work, we attempt to address these two issues. In the first part of this work, image-based algorithms are developed for gaze tracking which includes a new two-stage iris center localization algorithm. We have developed a new algorithm which works in challenging conditions such as motion blur, glint, and varying illumination levels. A person independent gaze direction classification framework using a convolutional neural network is also developed which eliminates the requirement of user-specific calibration. In the second part of this work, we have developed two applications which can benefit from eye tracking data. A new framework for biometric identification based on eye movement parameters is developed. A framework for activity recognition, using gaze data from a head-mounted eye tracker is also developed. The information from gaze data, ego-motion, and visual features are integrated to classify the activities.

연구 동기 및 목표

• 표준 웹캠과 헤드셋 카메라를 사용하여 저비용이고 침습적이지 않은 눈의 시선 추적 시스템을 개발하기 위해.
• 개별 校정이 필요 없이 사용자 독립적인 시선 추적을 가능하게 하기 위해.
• 운동 왜곡, 반사광, 다양한 조명 조건과 같은 실제 환경에서의 내구성을 향상시키기 위해.
• 시선 데이터를 생체 인식 및 엑오세트릭 활동 인식 시스템에 통합하기 위해.
• 실시간으로 시선 방향을 분류할 수 있는 컨volutional 신경망 기반의 분류기를 개발하기 위해.

제안 방법

• 시선 추정 정확도를 향상시키기 위해 두 단계의 피mnop 중심 국지화 알고리즘을 제안한다.
• 최소한의 하드웨어 요구 사항으로 눈의 각도와 피mnop 중심을 사용하여 시선 추적 프레임워크를 구성한다.
• 운동 왜곡, 반사광, 조도 변화에 강건한 새로운 알고리즘을 적용한 헤드셋 카메라 기반의 시선 추적기를 사용한다.
• 사용자별 校정이 필요 없이 실시간으로 시선 방향을 분류하기 위해 CNN 기반의 분류기를 활용한다.
• 엑오세트릭 활동 인식을 위해 시선 데이터를 엑오모션 및 시각적 특징과 통합한다.
• 고정 및 순간 이동 특징을 활용한 점수 융합 방법론을 개발하여 눈동자의 움직임 기반 생체 인식을 향상시킨다.

실험 결과

연구 질문

• RQ1 오직 이미지 기반 방법과 표준 카메라만을 사용하여 내구성이 뛰어나고 사용자 독립적인 시선 추적 시스템을 개발할 수 있는가?
• RQ2 운동 왜곡과 반사광과 같은 도전적인 시각 조건에서도 정확하고 실시간으로 시선 추정을 수행할 수 있는가?
• RQ3 전통적인 피mnop 인식과 융합했을 때 눈동자의 움직임 파rameter는 생체 인식 성능에 얼마나 기여하는가?
• RQ4 기존 센서가 실패하는 실내 환경에서 헤드셋 기반의 시선 데이터는 활동 인식 정확도를 향상시킬 수 있는가?
• RQ5 CNN 기반의 분류기는 실시간으로 校정 없이 시선 방향을 분류하는 데 얼마나 효과적인가?

주요 결과

• 제안된 두 단계의 피mnop 중심 국지화 알고리즘이 다양한 조도와 운동 조건에서도 시선 추적 정확도를 향상시킨다.
• 사용자별 校정이 필요 없이 CNN 기반의 접근 방식을 통해 실시간으로 시선 방향을 분류한다.
• 이 프레임워크는 외부 환경과 도전적인 환경(운동 왜곡, 반사광 포함)에서도 뛰어난 내구성을 보여준다.
• 시선, 엑오모션, 시각적 특징의 통합은 실내 환경에서의 활동 인식 정확도를 향상시킨다.
• 고정 및 순간 이동 특징을 활용한 점수 융합 방법론은 생체 인식 성능을 향상시키며, 내장된 생존성 검출 기능을 제공한다.
• 저비용 하드웨어와 높은 내구성 덕분에 소비자 응용 분야에서 눈의 시선 추적 시스템을 실질적으로 구현할 수 있다.