[논문 리뷰] EEGEyeNet: a Simultaneous Electroencephalography and Eye-tracking Dataset and Benchmark for Eye Movement Prediction

Ard Kastrati, Martyna Beata Płomecka외 5명|arXiv (Cornell University)|2021. 11. 06.

EEG and Brain-Computer Interfaces인용 수 7

한 줄 요약

이 논문은 356명의 건강한 성인에서 수집한 동기화된 128채널 뇌파 및 시각 추적 데이터를 포함하는 대규모 데이터셋인 EEGEyeNet을 소개한다. 총 47시간 이상의 데이터를 포함하며, 전통적인 기계학습 및 딥러닝 모델을 사용한 점진적으로 복잡도가 높아지는 세 가지 시각 예측 과제—좌우 구분, 각도-진폭 예측, 절대 위치 예측—을 포함하는 벤치마크를 제안한다. 이는 EEG 기반의 시각 예측 연구를 위한 강력한 기준 성능을 확립하고, 모든 코드와 데이터를 CC BY 라이선스 하에 공개하여 재현 가능한 연구를 가능하게 한다.

ABSTRACT

We present a new dataset and benchmark with the goal of advancing research in the intersection of brain activities and eye movements. Our dataset, EEGEyeNet, consists of simultaneous Electroencephalography (EEG) and Eye-tracking (ET) recordings from 356 different subjects collected from three different experimental paradigms. Using this dataset, we also propose a benchmark to evaluate gaze prediction from EEG measurements. The benchmark consists of three tasks with an increasing level of difficulty: left-right, angle-amplitude and absolute position. We run extensive experiments on this benchmark in order to provide solid baselines, both based on classical machine learning models and on large neural networks. We release our complete code and data and provide a simple and easy-to-use interface to evaluate new methods.

연구 동기 및 목표

• 시각 예측 연구를 위한 대규모이고 동기화된 EEG 및 시각 추적 데이터셋의 부족 문제를 해결하기 위해.
• 의료 또는 자연스러운 환경 등 시각 추적 하드웨어가 비현실적인 상황에서 EEG 기반의 시각 추정을 가능하게 하기 위해.
• EEG 신호를 이용한 시각 예측 모델 평가를 위한 표준화된 벤치마크를 확립하기 위해.
• EEG 기반의 뇌-컴퓨터 인터페이스, 신경계 질환 진단, 인간 행동 분석 분야의 연구를 가속화하기 위해, 개방형 고품질 데이터 및 도구를 제공함으로써.

제안 방법

• 3가지 실험적 프로토콜을 통해 356명의 건강한 참가자로부터 동기화된 128채널 EEG 및 비디오-적외선 시각 추적 데이터를 수집한다.
• 원시 EEG 및 시각 추적 데이터를 전처리하고, 원시 데이터와 전처리된 데이터, 관련 기능 추출 코드를 함께 공개한다.
• 세 단계로 구성된 벤치마크 설계: 좌우 시선 구분, 각도-진폭 예측, 절대 시선 위치 추정으로 복잡도가 점차 증가한다.
• 전통적인 기계학습 및 딥 뉴럴 네트워크를 포함한 다양한 모델을 벤치마크에서 훈련 및 평가하여 성능 기준을 확립한다.
• EEGEyeNet 벤치마크에서 새로운 시각 예측 모델을 평가할 수 있는 완전히 접근 가능한 오픈소스 인터페이스를 제공한다.
• 공개 저장소(www.eegeye.net)에 데이터셋과 코드를 CC BY 라이선스 하에 게시하여 과학적 이용에 제한이 없도록 보장한다.

실험 결과

연구 질문

• RQ1 직접적인 시각 추적 입력 없이도 EEG 신호만으로도 눈동자의 움직임 패tern, 특히 시선 방향과 위치를 신뢰성 있게 예측할 수 있는가?
• RQ2 EEG 데이터를 사용할 때, 좌우 시선, 각도-진폭, 절대 위치 등 다양한 수준의 시선 예측 복잡도에서 모델 성능가 어떻게 달라지는가?
• RQ3 기존 기계학습과 딥러닝 접근법을 사용했을 때 EEG 기반의 시선 예측 성능 기준은 무엇인가?
• RQ4 다양한 참가자와 실험 조건에서 대규모 개방형 데이터셋을 통해 EEG 기반의 시선 예측이 얼마나 일반화 가능한가?
• RQ5 개방형이고 재현 가능한 벤치마크는 뇌파 기반의 시선 예측 연구 및 뇌과학 및 보조 기술 분야의 적용을 어떻게 가속화할 수 있는가?

주요 결과

• EEGEyeNet 데이터셋은 표준화되고 비침습적인 프로토콜에 따라 356명의 참가자로부터 수집된 47시간 이상의 동기화된 128채널 EEG 및 시각 추적 데이터를 포함한다.
• 벤치마크는 좌우 시선 예측, 각도-진폭 추정, 절대 시선 위치 예측의 세 단계로 구성된 복잡도가 점차 증가하는 과제를 성공적으로 기반 성능을 설정한다.
• 기존 기계학습 모델과 딥 뉴럴 네트워크 모두 시선 예측 과제에서 측정 가능한 성능을 달성하며, 특히 가장 복잡한 과제에서 딥러닝 모델이 뛰어난 성능을 보인다.
• 데이터셋과 벤치마크는 전체 코드와 전처리 파이프라인과 함께 공개되어 기관 간 재현 가능하고 비교 가능한 연구를 가능하게 한다.
• 모든 참가자의 개인정보 보호를 위해 익명화, 코드 기반 식별, 민감한 의료 데이터 제거를 통해 윤리적 승인과 공식 동의를 확보하였다.
• 데이터셋은 정기적으로 업데이트되며, 모든 버전이 공개 저장소에 보존되어 장기적인 접근성과 과학적 신뢰성을 확보한다.