[논문 리뷰] End-to-End Eye Movement Detection Using Convolutional Neural Networks

Sabrina Hoppe, Andreas Bulling|arXiv (Cornell University)|2016. 09. 08.

Gaze Tracking and Assistive Technology참고 문헌 26인용 수 41

한 줄 요약

이 논문은 수동적인 특징 공학 및 사전 분할을 제거하고, 연속적인 2차원 시선 데이터에서 직접으로 정지, 깜빡임, 부드러운 추적을 동시에 탐지하기 위한 엔드 투 엔드 컨볼루션 신경망(CNN)을 제안한다. 이 방법은 새로운 다중 참가자 데이터셋(1,626개의 정지, 2,647개의 깜빡임, 1,089개의 부드러운 추적 포함)에서 최신 기준 성능을 달성하며, 기존의 기준 방법들보다 뛰어난 정확도를 보여준다.

ABSTRACT

Common computational methods for automated eye movement detection - i.e. the task of detecting different types of eye movement in a continuous stream of gaze data - are limited in that they either involve thresholding on hand-crafted signal features, require individual detectors each only detecting a single movement, or require pre-segmented data. We propose a novel approach for eye movement detection that only involves learning a single detector end-to-end, i.e. directly from the continuous gaze data stream and simultaneously for different eye movements without any manual feature crafting or segmentation. Our method is based on convolutional neural networks (CNN) that recently demonstrated superior performance in a variety of tasks in computer vision, signal processing, and machine learning. We further introduce a novel multi-participant dataset that contains scripted and free-viewing sequences of ground-truth annotated saccades, fixations, and smooth pursuits. We show that our CNN-based method outperforms state-of-the-art baselines by a large margin on this challenging dataset, thereby underlining the significant potential of this approach for holistic, robust, and accurate eye movement protocol analysis.

연구 동기 및 목표

• 원시 시선 데이터 스트림에서 직접으로 정지, 깜빡임, 부드러운 추적과 같은 다수의 눈동자 운동 유형을 통합하고 엔드 투 엔드로 탐지하는 방법을 개발하기.
• 기존 눈동자 운동 탐지 방법에서 흔히 사용되는 수작업 특징 추출, 임계값 설정, 또는 사전 분할 단계에 대한 의존도를 제거하기.
• 스크립트된 및 자유 시청 시퀀스를 포함한, 모든 세 가지 눈동자 운동 유형에 대한 지상 진실 레이블이 부여된 새로운 완전 주석이 달린 다중 참가자 데이터셋을 제공하기.
• 어려운 현실적인 데이터셋에서 제안된 방법을 평가하여 통합된 눈동자 운동 프로토콜 분석에서의 강건성과 정확도를 입증하기.
• 딥 러닝을 활용한 자동 눈동자 운동 탐지 분야의 향후 연구를 위한 체계적인 벤치마크를 수립하기.

제안 방법

• 이 방법은 원시 2차원 시선 데이터를 시간적 시퀀스로 처리하는 1차원 컨볼루션 신경망(CNN)을 활용하며, 공간적 및 시간적 패턴을 엔드 투 엔드로 학습한다.
• 입력 시선 데이터는 컨볼루션 신경망에 입력하기 전에 빠른 푸리에 변환(FFT)을 사용하여 주파수 도메인으로 변환되어 스펙트럼 특징 추출을 향상시킨다.
• CNN은 각 시선 샘플에 대해 눈동자 운동 유형(정지, 깜빡임, 부드러운 추적)과 관련된 신뢰도 점수를 예측하도록 훈련된다.
• 네트워크 아키텍처는 수작업 특징 추출 및 분할을 생략하고 데이터에서 직접 계층적 표현을 학습하도록 설계되어 있다.
• 모델은 각 타임스텝에 대한 클래스 확률를 생성하기 위해 소프트맥스 출력과 교차 엔트로피 손실을 사용하여 훈련된다.
• 이 접근법은 시퀀스에서 시퀀스로의 예측을 지원하여 명시적인 데이터 분할 없이 실시간 또는 거의 실시간 탐지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 처리 또는 분할 없이, 단일 딥 러닝 모델이 연속적인 시선 데이터에서 정지, 깜빡임, 부드러운 추적과 같은 다수의 눈동자 운동 유형을 동시에 탐지할 수 있는가?
• RQ2 기존의 임계값 기반 또는 다단계 탐지 방법과 비교해 볼 때, CNN을 이용한 엔드 투 엔드 학습 방식은 정확도와 강건성 측면에서 어떻게 다른가?
• RQ3 제안된 방법이 다양한 참가자들과 자연스러운 시청 조건에 걸쳐 얼마나 일반화되는가?
• RQ4 샘플 기반 평가와 이벤트 기반 평가 간의 평가 지표는 눈동자 운동 탐지 성능 평가에서 어떻게 다를까?
• RQ5 제한된 주석이 달린 데이터로도 CNN 기반 접근법이 어려운 다중 클래스 눈동자 운동 탐지 작업에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 CNN 기반 방법은 새로운 다중 참가자 데이터셋에서 최신 기준 방법들을 크게 앞서며, 세 가지 눈동자 운동 유형 모두에서 뛰어난 탐지 정확도를 보였다.
• 이 방법은 바이너리 및 다중 클래스 눈동자 운동 탐지 모두에서 높은 성능를 달성했으며, 샘플 기반 평가에서는 뛰어난 샘플 단위 분류 정확도를 보였다.
• 이벤트 기반 평가에서는 비록 샘플 단위 정확도가 높지만, 전체 눈동자 운동 이벤트의 탐지가 여전히 도전적인 과제임을 드러내며, 이 작업의 복잡성을 강조했다.
• 1,626개의 정지, 2,647개의 깜빡임, 1,089개의 부드러운 추적을 포함한 새로운 데이터셋의 도입은 향후 알고리즘 개발을 위한 견고한 벤치마크를 제공한다.
• 성공에도 불구하고, 시신호 변동성과 시선 데이터의 노이즈로 인해 여전히 도전 과제에 직면해 있음을 확인하였으며, 눈동자 운동 탐지는 여전히 어려운 문제임을 시사한다.
• 결과적으로 향후 향상은 메모리 기반 아키텍처(예: RNN) 또는 더 큰 비라벨 데이터셋에서의 자기지도 사전 훈련을 통해 이루어질 수 있음을 시사한다.