[논문 리뷰] MIDAS: Deep learning human action intention prediction from natural eye movement patterns

Paul Festor, Ali Shafti외 4명|arXiv (Cornell University)|2022. 01. 22.

Gaze Tracking and Assistive Technology인용 수 4

한 줄 요약

이 논문은 자연스러운 눈동글 움직임 패tern에서 오직 시선 및 물체 위치 데이터만을 사용하여 인간의 행동 의도를 예측하는 딥러닝 모델인 MIDAS를 제안한다. 이중 순환 신경망을 사용해 시선의 동역학을 시계열로 모델링함으로써, 시선 제스처나 체류 시간을 요구하지 않고도 조작 vs. 점검 의도를 91.9%의 정확도로 분류한다. 이는 자연스러운 시선이 Zero-UI 인터페이스로서의 가능성을 입증한다.

ABSTRACT

Eye movements have long been studied as a window into the attentional mechanisms of the human brain and made accessible as novelty style human-machine interfaces. However, not everything that we gaze upon, is something we want to interact with; this is known as the Midas Touch problem for gaze interfaces. To overcome the Midas Touch problem, present interfaces tend not to rely on natural gaze cues, but rather use dwell time or gaze gestures. Here we present an entirely data-driven approach to decode human intention for object manipulation tasks based solely on natural gaze cues. We run data collection experiments where 16 participants are given manipulation and inspection tasks to be performed on various objects on a table in front of them. The subjects' eye movements are recorded using wearable eye-trackers allowing the participants to freely move their head and gaze upon the scene. We use our Semantic Fovea, a convolutional neural network model to obtain the objects in the scene and their relation to gaze traces at every frame. We then evaluate the data and examine several ways to model the classification task for intention prediction. Our evaluation shows that intention prediction is not a naive result of the data, but rather relies on non-linear temporal processing of gaze cues. We model the task as a time series classification problem and design a bidirectional Long-Short-Term-Memory (LSTM) network architecture to decode intentions. Our results show that we can decode human intention of motion purely from natural gaze cues and object relative position, with $91.9\%$ accuracy. Our work demonstrates the feasibility of natural gaze as a Zero-UI interface for human-machine interaction, i.e., users will only need to act naturally, and do not need to interact with the interface itself or deviate from their natural eye movement patterns.

연구 동기 및 목표

• 자신이 의도적으로 시선 제스처나 체류 시간을 사용하지 않아도 되는 자연스러운 시선 신호를 통해 의도를 해석함으로써, 시선 기반 인간-기계 인터페이스에서 발생하는 Midas Touch 문제를 해결하고자 한다.
• 의도적인 작업 제약 조건 없이 자연스러운 눈동글 움직임 패턴만으로도 사람이 물체를 조작할 것인지 점검할 것인지 예측할 수 있는지 조사하고자 한다.
• 시간적 동역학과 시선-물체 관계를 활용한 데이터 기반, 종단 간(end-to-end) 딥러닝 프레임워크를 개발하고자 한다.
• 의도 예측이 단순한 공간적 정지 패턴이나 단순 히ュ리스틱에 기반하는 것이 아니라, 비선형적 시간적 처리에 의존하는지 검증하고자 한다.
• 사용자가 시선 행동이나 인터페이스 상호작용 방식을 수정할 필요 없이 자연스럽게 상호작용할 수 있는 Zero-UI 상호작용 패러다임을 구축하고자 한다.

제안 방법

• 16명의 참가자가 자연스럽고 머리가 자유로운 환경에서 웨어러블 시선추적기로 에고세트릭 시선추적 데이터를 수집하여 조작 및 점검 작업을 수행하였다.
• 장면 내 물체를 탐지하고 국소화하기 위해 Semantic Fovea 모델을 사용하였으며, 각 프레임에서 시선 위치와의 공간적 관계를 계산하였다.
• 고해상도 시선 데이터(~120Hz)에 대응하기 위해 물체 위치 데이터를 보간(최대 100개 포인트, 약 0.8초 간격)하여, 물체 탐지 실패와 물체 부재를 구분하였다.
• 모든 시험을 지시 후 동일한 3.33초 윈도우로 자르면서 시험 길이의 차이로 인한 편향을 제거하였다.
• 시선-물체 시퀀스의 시간적 의존성을 모델링하기 위해 이중 순환 신경망 기반 아키텍처(2×256 LSTM 레이어, 어텐션, ReLU 및 시그모이드 활성화를 가지는 3개의 완전 연결 레이어)를 설계하였다.
• 200 에포크 동안 Adam 옵timizer(초기 학습률: 2.5×10⁻⁴)를 사용하여 이진 교차 엔트로피 손실 함수로 모델을 훈련하였으며, 정확도를 높이기 위해 k-폴드 및 한 참가자를 제외한 교차검증을 실시하였다.

실험 결과

연구 질문

• RQ1 자신이 의도적으로 시선 제스처나 체류 시간을 요구하지 않는 자연스럽고 제약이 없는 시선 패턴에서 인간의 행동 의도(조작 vs. 점검)를 정확하게 예측할 수 있는가?
• RQ2 의도 예측이 단순한 공간적 정지 패턴이 아니라, 비선형적 시간적 처리에 의존하는가, 아니면 단순한 정지 패턴에 기반하는가?
• RQ3 작업 설명 길이나 명명된 물체의 수와 같은 혼란 요인들이 의도 예측 모델에 얼마나 영향을 미치는가?
• RQ4 사전에 수작업으로 특징을 추출하지 않은 채 원시 시선 및 물체 위치 시퀀스로 훈련된 딥러닝 모델이 높은 정확도로 의도를 해독할 수 있는가?
• RQ5 사용자가 시선 행동을 수정할 필요 없이 자연스럽게 상호작용할 수 있는 Zero-UI 인터페이스를 구축하는 것이 가능한가?

주요 결과

• MIDAS는 오직 자연스러운 시선 흔적과 물체 위치 정보만을 사용하여 인간의 행동 의도(조작 vs. 점검)를 91.9%의 정확도로 분류하였다.
• 모델의 성능는 거리 특징만을 사용해 훈련된 기저 모델보다 유의미하게 뛰어나, 의도 예측이 단순한 공간적 근접성 이상의 복잡한 시간적 동역학에 기반한다는 것을 시사한다.
• 더 긴 작업 설명으로 인한 편향은 지시 종료 후 동일한 3.33초 윈도우로 시험을 자르면서 완화되었으며, 이로 인해 길이 기반 신호가 예측에 영향을 주지 않도록 보장되었다.
• 한 참가자를 제외한 교차검증을 통해 모델이 참가자 간에 강건함을 입증하였으며, 예상치 못한 사용자에게도 일반화 가능함을 확인하였다.
• 의도 해독을 위해서는 시선 시퀀스의 비선형적 시간 모델링이 필수적임을 입증하였으며, 단순한 공간적 또는 정적 정지 기반 모델은 낮은 성능을 보였다.
• 결과적으로 자연스러운 시선이 Zero-UI 인터페이스로 사용될 수 있음을 검증하였으며, 사용자가 시스템과 상호작용하기 위해 자신의 시선 행동을 수정할 필요가 없다.