[논문 리뷰] A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications

Lukas Wolf, Ard Kastrati외 6명|arXiv (Cornell University)|2022. 06. 17.

Gaze Tracking and Assistive Technology인용 수 4

한 줄 요약

이 논문은 영상 기반 눈 추적 데이터를 필요로 하지 않고, EEG 데이터를 눈의 움직임인 정지, 깜빡임, 눈 깜빡임 등으로 종단 간 전처리하는 새로운 딥러닝 프레임워크인 DETRtime를 소개한다. DETR 객체 검출 아키텍처의 시계열 변형을 활용하여, 네 가지 눈 추적 실험 환경에서 최신 기술 수준을 초월하고, EEG 수면 단계 분류와 같은 다른 작업으로의 일반화 능력도 효과적으로 확보한다.

ABSTRACT

The collection of eye gaze information provides a window into many critical aspects of human cognition, health and behaviour. Additionally, many neuroscientific studies complement the behavioural information gained from eye tracking with the high temporal resolution and neurophysiological markers provided by electroencephalography (EEG). One of the essential eye-tracking software processing steps is the segmentation of the continuous data stream into events relevant to eye-tracking applications, such as saccades, fixations, and blinks. Here, we introduce DETRtime, a novel framework for time-series segmentation that creates ocular event detectors that do not require additionally recorded eye-tracking modality and rely solely on EEG data. Our end-to-end deep learning-based framework brings recent advances in Computer Vision to the forefront of the times series segmentation of EEG data. DETRtime achieves state-of-the-art performance in ocular event detection across diverse eye-tracking experiment paradigms. In addition to that, we provide evidence that our model generalizes well in the task of EEG sleep stage segmentation.

연구 동기 및 목표

• 영상 기반 눈 추적 데이터에 의존하지 않고 EEG 데이터를 눈의 움직임(정지, 깜빡임, 눈 깜빡임)으로 종단 간 분류하는 딥러닝 프레임워크를 개발하는 것.
• 원래 이미지에서 객체 검출을 위해 설계된 DETR 아키텍처를 EEG 신호를 위한 시계열 분류 모델로 변형하는 것.
• 고정밀도 시간 해상도(2 ms)로 다수의 눈 움직임을 동시에 탐지하고 정확한 시작/종료 시점 정위치를 제공하는 통합형 종단 간 방법을 만드는 것.
• 다양한 실험 환경에서 모델 성능을 평가하고, 수면 단계 분류와 같은 다른 시계열 분류 작업으로의 일반화 능력을 입증하는 것.
• 139,000개의 정지, 139,000개의 깜빡임, 14,000개의 눈 깜빡임을 포함한 공개 가능한 기준 데이터셋을 제공하며, EEG 및 적외선 눈 추적 기준값을 함께 제공하는 것.

제안 방법

• DETRtime는 시퀀셜 EEG 데이터에 적합하게 수정된 트랜스포머 기반 아키텍처로, 가변 길이의 시계열 입력을 클래스 레이블 시퀀스로 매핑한다.
• 학습 가능한 객체 쿼리 메커니즘과 세트 예측 헤드를 사용하여, 컴퓨터 비전의 인스턴스 세그멘테이션과 유사하게 다수의 눈 움직임을 동시에 예측한다.
• 장거리 의존성을 포착하기 위해 다중 헤드 자기주의 메커니즘을 활용하여, 이벤트 경계의 정밀한 정위치를 가능하게 한다.
• 예측 결과를 기준값 이벤트 인스턴스와 매칭하기 위해 허그리안 손실을 사용하여 종단 간 훈련을 수행하며, 시작 및 종료 시간 탐지 정확도를 보장한다.
• 모델는 2 ms의 시간 해상도로 평가되어 눈 움직임의 세분화된 분류가 가능하다.
• EEG 데이터에 최적화된 특징 추출 컴ponent를 도출하기 위해 여러 백본(예: EEGNet, EEG-TCN)을 평가하였다.

실험 결과

연구 질문

• RQ1 DETR와 같은 트랜스포머 기반 아키텍처를 시계열 EEG 신호 분류에 효과적으로 적용하여 외부 눈 추적 데이터 없이도 눈 움직임을 탐지할 수 있는가?
• RQ2 다양한 실험 환경에서 DETRtime은 기존 최고 수준의 모델 대비 정밀도, 재현율, F1 점수 면에서 어떻게 성능을 발휘하는가?
• RQ3 DETRtime은 EEG 수면 단계 분류와 같은 다른 시계열 분류 작업으로 얼마나 잘 일반화되는가?
• RQ4 특히 수직 깜빡임과 눈 깜빡임을 구분하기 어려운 경우, EEG 기반 눈 움직임 탐지의 주요 과제는 무엇인가?
• RQ5 통합형 종단 간 딥러닝 프레임워크는 EEG 기반 눈 움직임 분류에서 별도의 전처리 또는 수작업 특징 추출 파이프라인의 필요성을 제거할 수 있는가?

주요 결과

• DETRtime는 네 가지 눈 추적 실험 환경에서 평균 정밀도 0.936, 재현율 0.902를 기록하여 기존 최고 수준의 모델을 크게 능가했다.
• 수면 단계 분류 작업에서 Sleep-EDF-153 데이터셋을 대상으로 하여도 현재 최고 수준의 방법을 뛰어넘는 성능을 보였다.
• 정지에 비해 깜빡임과 눈 깜빡임에 대해 F1 점수가 높았으며, 이는 특히 수직 깜빡임과 눈 깜빡임의 유사한 신호 패tern을 구분하는 데 어려움이 있음을 반영한다.
• 절단 분석 결과, DETRtime를 사용할 경우 별도의 세그멘테이션 파이프라인의 필요성이 없음을 확인하였으며, 종단 간 아키텍처 자체가 이미 이벤트 정위치를 효과적으로 처리하기 때문이다.
• 다양한 EEG 신호 품질과 피실험자 간 변동성에도 불구하고 성능가 안정적이었으며, 개별 피실험자에 대한 피팅 조정을 통해 성능 향상을 더욱 이룰 수 있었다.
• 168명의 참가자와 292,000개의 레이블이 부여된 눈 움직임 이벤트를 포함한 제안된 기준 데이터셋은 향후 EEG 기반 눈 움직임 분석 연구에 귀중한 자원이 된다.