[논문 리뷰] A Ground-Truth Data Set and a Classification Algorithm for Eye Movements in 360-degree Videos

Ioannis Agtzidis, Mikhail Startsev외 1명|arXiv (Cornell University)|2019. 03. 15.

Gaze Tracking and Assistive Technology참고 문헌 40인용 수 8

한 줄 요약

이 논문은 360° 비디오 시청 환경에서 눈의 정지, 사시, 부드러운 추적, 머리에 의해 유도되는 운동(VOR, 떨림, 머리 추적)에 대한 수동 애너테이션을 포함한 공개 가능한 360° 비디오 눈 움직임 추적 데이터셋을 소개한다. 이는 이중 참조 프레임(눈-머리 및 눈-세계) 속도 지표를 사용하는 규칙 기반 분류 알고리즘과 함께 이중 단계 애너테이션 파이프라인을 제안하며, 이러한 참조 프레임을 통합함으로써 부드러운 추적 및 전정-눈 반사와 같은 복잡한 눈 움직임의 탐지 정확도가 크게 향상됨을 입증한다. 단일 프레임 기반 참조 시스템에 의존하는 기존 방법에 비해 유의미한 개선 효과를 보인다.

ABSTRACT

The segmentation of a gaze trace into its constituent eye movements has been actively researched since the early days of eye tracking. As we move towards more naturalistic viewing conditions, the segmentation becomes even more challenging and convoluted as more complex patterns emerge. The definitions and the well-established methods that were developed for monitor-based eye tracking experiments are often not directly applicable to unrestrained set-ups such as eye tracking in wearable contexts or with head-mounted displays. The main contributions of this work to the eye movement research for 360-degree content are threefold: First, we collect, partially annotate, and make publicly available a new eye tracking data set, which consists of 13 participants viewing 15 video clips that are recorded in 360-degree. Second, we propose a new two-stage pipeline for ground truth annotation of the traditional fixations, saccades, smooth pursuits, as well as (optokinetic) nystagmus, vestibulo-ocular reflex, and pursuit of moving objects performed exclusively via the movement of the head. A flexible user interface for this pipeline is implemented and made freely accessible for use or modification. Lastly, we develop and test a simple proof-of-concept algorithm for automatic classification of all the eye movement types in our data set based on their operational definitions that were used for manual annotation. The data set and the source code for both the annotation tool and the algorithm are publicly available at https://web.gin.g-node.org/ioannis.agtzidis/360_em_dataset.

연구 동기 및 목표

• 자연스럽고 머리가 자유로운 360° 비디오 시청 환경에서 눈 움직임 분류를 위한 표준화되고 공개 가능한 기준 데이터가 부족한 문제를 해결하기 위해.
• 복잡한 눈 움직임 유형, 특히 머리 운동에 의해 유도되는 움직임을 포함한 다양한 눈 움직임을 라벨링할 수 있는 융통성 있고 오픈소스 기반의 애너테이션 파이프라인을 개발하기 위해.
• 눈-머리 및 눈-세계 속도 지표를 모두 활용하여 주요 및 보조 눈 움직임 유형의 탐지 정확도를 향상시키는 규칙 기반 분류 알고리즘을 제안하고 평가하기 위해.
• 특히 웨어러블 및 HMD 기반 눈 움직임 추적 시스템을 대상으로, 몰입형 비제한 환경에서 눈 움직임 분류의 벤치마크를 설정하기 위해.

제안 방법

• 13명의 참가자가 15개의 360° 비디오 클립을 시청하는 동안 고시간 해상도로 머리 운동과 시선을 기록한 데이터셋을 수집하였다.
• 수동 라벨링이 가능한 사용자 정의 가능한 인터페이스를 제공하는 이중 단계 애너테이션 파이프라인을 설계 및 구현하여 정지, 사시, 부드러운 추적, 머리에 의해 유도되는 운동(VOR, 떨림, 머리 추적)을 라벨링하였다.
• 눈-머리 및 눈-세계 좌표계에서의 속도 임계값을 계산하는 규칙 기반 알고리즘을 사용하여 눈 움직임을 분류하였다.
• 알고리즘은 세 가지 구성으로 평가되었다: 눈-세계 좌표계(FOV)만 사용, 눈-머리 좌표계(E+H)만 사용, 양쪽 참조 프레임을 모두 사용하는 조합 방식.
• Hooge 등(2017)에서 제시한 표준 절차에 따라 이벤트 수준의 F1 스코어를 계산하였으며, 결과는 각 눈 움직임 유형별로 보고되었다.
• 수동 애너테이션된 테스트 세트에서 알고리즘을 테스트하고, 다양한 참조 프레임 조합에 따른 성능을 분석하여 머리 운동 통합의 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 자연스러운 머리 자유 360° 비디오 시청 환경에서, 머리 운동에 의해 유도되는 다양한 눈 움직임 유형을 정확하게 애너테이션한 공개 가능한 종합적인 눈 움직임 추적 데이터셋을 구축할 수 있는가?
• RQ2 눈-머리 및 눈-세계 속도 정보를 동시에 포함함으로써, 부드러운 추적 및 전정-눈 반사와 같은 복잡한 눈 움직임의 분류가 어떻게 향상되는가?
• RQ3 단일 참조 프레임 기반 속도 임계값에 의존하는 기존 분류 알고리즘이 비제한적 머리 운동 환경에서 유사한 눈 움직임 유형 간의 구분에 얼마나 실패하는가?
• RQ4 운영 정의와 이중 참조 프레임 데이터를 기반으로 하는 규칙 기반 알고리즘이 360° 비디오 환경에서 눈 움직임을 견고하고 정확하게 분류할 수 있는가?
• RQ5 일반적인 VR 시스템에서처럼 눈-세계 좌표계에만 의존하는 경우와 눈과 머리 운동 데이터를 모두 사용하는 경우의 눈 움직임 분류 성능는 어떻게 다를까?

주요 결과

• FOV(눈-세계)만 사용하는 알고리즘의 경우 사시와 특히 부드러운 추적의 F1 스코어가 상당히 낮게 나타나, 머리 운동 보상으로 인해 오분류가 발생함을 시사한다.
• E+H(눈-머리)만 사용하는 버전은 FOV보다 성능이 뛰어나지만 여전히 VOR 및 머리 추적과 같은 보조 눈 움직임 유형을 탐지하지 못하며, 이는 눈과 머리 운동을 모두 고려해야 함을 시사한다.
• 눈-머리 및 눈-세계 속도 지표를 모두 사용하는 조합 알고리즘은 주요 및 보조 눈 움직임 유형 전반에서 가장 높은 F1 스코어를 기록하여 이중 참조 프레임 통합의 必要성을 입증한다.
• 조합 알고리즘은 OKN+VOR와 같이 복합적인 눈 움직임 조합까지도 성공적으로 탐지하였으며, 이는 다른 두 버전에서 놓친 사례였다.
• 연구 결과에 따르면 고정 임계값 기반 방법(예: 속도 기반)은 인간의 수동 애너테이션에 기반한 맥락 인식 결정에 비해 효과가 떨어지며, 특히 정지 + VOR와 부드러운 추적과 같은 유사한 눈 움직임 유형 간의 구분에 어려움이 있음을 확인하였다.
• 향후 알고리즘은 자이로스코프에서 얻는 머리 운동 데이터 외에도 영상 객체의 운동과 시선 목표의 대응 관계를 통합하여 정확도와 견고성을 향상시켜야 한다.