[논문 리뷰] Eye movement simulation and detector creation to reduce laborious parameter adjustments

Wolfgang Fuhl, Thiago Santini외 4명|arXiv (Cornell University)|2018. 03. 28.

Gaze Tracking and Assistive Technology참고 문헌 49인용 수 11

한 줄 요약

이 논문은 샘플링 속도 변동성에 영향을 받지 않고도 강건한 검출기 훈련이 가능한 물리기반 시뮬레이터를 사용하여 정지, 사카드, 부드러운 추적에 대한 합성 속도 프로파일을 생성하는 기계학습 기반 눈동자 움직임 검출 프레임워크를 제안한다. 이 방법은 여러 데이터셋에서 최신 기술 대비 높은 검출 정확도를 달성하며, 수동 파rameter 조정 없이 모든 운동 유형에서 균형 잡힌 성능을 보인다.

ABSTRACT

Eye movements hold information about human perception, intention and cognitive state. Various algorithms have been proposed to identify and distinguish eye movements, particularly fixations, saccades, and smooth pursuits. A major drawback of existing algorithms is that they rely on accurate and constant sampling rates, impeding straightforward adaptation to new movements such as micro saccades. We propose a novel eye movement simulator that i) probabilistically simulates saccade movements as gamma distributions considering different peak velocities and ii) models smooth pursuit onsets with the sigmoid function. This simulator is combined with a machine learning approach to create detectors for general and specific velocity profiles. Additionally, our approach is capable of using any sampling rate, even with fluctuations. The machine learning approach consists of different binary patterns combined using conditional distributions. The simulation is evaluated against publicly available real data using a squared error, and the detectors are evaluated against state-of-the-art algorithms.

연구 동기 및 목표

• 변동하는 샘플링 속도와 노이즈로 인해 기존 눈동자 움직임 검출 알고리즘의 파rameter 민감도와 일반화 부족 문제를 해결하기 위해.
• 실제 데이터 기반의 수동 애너테이션과 히우리스틱 임계값 설정에 의존도를 줄이기 위해, 시뮬레이션된 눈동자 움직임 프로파일을 기반으로 데이터 기반 검출기를 훈련시키기 위해.
• 사카드는 감마 분포를, 부드러운 추적은 시그모이드 형태의 시작을 모델링할 수 있는 유연한 시뮬레이션 프레임워크를 개발하기 위해.
• 골드 스탠다드 애너테이션 데이터가 필요 없이도 새로운 또는 희귀한 눈동자 움직임 유형(예: 비대칭 사카드)에 대한 검출기 훈련을 가능하게 하기 위해.
• 기존의 오프라인 검출 외에도 온라인 검출을 지원하며, 알려진 속도 프로파일을 활용한 검증 및 개선이 가능한 시스템을 구축하기 위해.

제안 방법

• 시뮬레이터는 실증적인 안구운동 데이터를 기반으로 사카드에 대해 감마 분포, 부드러운 추적의 시작에 대해 시그모이드 함수를 사용하여 합성 눈동자 운동 속도 프로파일을 생성한다.
• 변동하고 변동성이 있는 샘플링 속도를 모델링하여, 일정한 프레임 레이트가 아닌 실제적인 비균일 샘플링 데이터를 사용한 훈련이 가능하다.
• 노이즈, 샘플링 저항, 트래커 정확도 저하 등을 구성 가능한 확률 분포를 사용해 시뮬레이션하여 실제 눈동자 트래커의 한계를 반영한다.
• 무작위 포인트 기반 기계학습 파이프라인은 10개의 이진 결정 패턴과 조건부 확률 분포를 조합하여 강건한 검출기를 학습한다.
• 검출기는 유일하게 시뮬레이션된 데이터로 훈련되고, 후처리나 세그먼테이션 없이 실제 애너테이션된 데이터셋에서 평가된다.
• 이 접근 방식은 수동 임계값 조정이나 데이터 기반 초기화에 의존하지 않는 엔드 투 엔드 훈련 및 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 기반 접근 방식이 생물학적 안구운동 행동을 정확하게 반영하는 현실적인 눈동자 운동 속도 프로파일을 생성할 수 있는가?
• RQ2 오직 시뮬레이션된 데이터로만 훈련된 기계학습 검출기가 다양한 샘플링 속도에서 실제 눈동자 트래킹 데이터에 대해 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 제안된 방법이 수동 애너테이션 없이도 새로운 눈동자 운동 유형(예: 비대칭 사카드)에 대해 얼마나 잘 일반화되는가?
• RQ4 제안된 검출기의 성능이 정지, 사카드, 부드러운 추적 유형 간의 균형과 검출 정확도 측면에서 최신 기술 대비 어떻게 비교되는가?
• RQ5 실제 눈동자 트래킹 응용에서 흔히 발생하는 변동하고 변동성이 있는 샘플링 속도 상황에서도 시스템이 강건성을 유지할 수 있는가?

주요 결과

• GazeCom 데이터셋에서 제안된 검출기는 정지에 대해 61.86%, 사카드에 대해 76.56%, 부드러운 추적에 대해 61.88%의 검출률을 기록하여 I-BDT 및 LS보다 균형과 전체 정확도에서 뛰어난 성능을 보였다.
• I-BDT 데이터셋에서 제안된 방법은 정지에 대해 72.50%, 사카드에 대해 69.44%, 부드러운 추적에 대해 64.83%의 성능을 기록하여 모든 운동 유형에서 일관된 성능을 보였다.
• 수동 임계값 조정이나 데이터 기반 초기화 없이도 모든 운동 유형에서 균형 잡힌 성능을 유지했다.
• EV(Nyström과 Holmqvist, 2010)는 부드러운 추적을 완전히 검출하지 못하는 데 반해, 제안된 방법은 모든 운동 유형에서 훨씬 높은 검출률을 달성했다.
• LS(Larsson 등, 2013)가 자가 적응형 세그먼테이션 기반 알고리즘임에도 불구하고, 모든 평가된 데이터셋에서 정지 및 사카드 검출 정확도에서 제안된 방법이 뛰어난 성능을 보였다.
• 결과는 시뮬레이터가 생성한 훈련 데이터가 실제 눈동자 운동 속도 프로파일의 통계적 특성을 효과적으로 포착하고 있으며, 이를 통해 실재 데이터에 대한 높은 일반화 능력을 확보할 수 있음을 시사한다.