[论文解读] EEGEyeNet: a Simultaneous Electroencephalography and Eye-tracking Dataset and Benchmark for Eye Movement Prediction

Ard Kastrati, Martyna Beata Płomecka+5 more|arXiv (Cornell University)|Nov 6, 2021

EEG and Brain-Computer Interfaces被引用 7

一句话总结

本论文介绍了EEGEyeNet，这是一个大规模同步128导联脑电图（EEG）与眼动追踪记录的数据集，涵盖356名健康成年人，总时长达47小时以上。该研究提出了一项基准测试，包含三个逐步复杂的注视预测任务——左右注视、角度-振幅预测以及绝对位置预测，采用传统机器学习与深度学习模型进行评估，建立了强有力的基线性能，并将所有代码与数据以CC BY许可公开发布，以支持基于EEG的注视预测研究的可复现性。

ABSTRACT

We present a new dataset and benchmark with the goal of advancing research in the intersection of brain activities and eye movements. Our dataset, EEGEyeNet, consists of simultaneous Electroencephalography (EEG) and Eye-tracking (ET) recordings from 356 different subjects collected from three different experimental paradigms. Using this dataset, we also propose a benchmark to evaluate gaze prediction from EEG measurements. The benchmark consists of three tasks with an increasing level of difficulty: left-right, angle-amplitude and absolute position. We run extensive experiments on this benchmark in order to provide solid baselines, both based on classical machine learning models and on large neural networks. We release our complete code and data and provide a simple and easy-to-use interface to evaluate new methods.

研究动机与目标

• 为解决EEG与眼动追踪数据在注视预测研究中大规模、同步数据集稀缺的问题。
• 实现在眼动追踪硬件不切实际的场景（如临床或自然环境）中基于EEG的注视估计。
• 建立标准化基准，用于评估基于EEG信号的注视预测模型性能。
• 通过提供开放、高质量的数据与工具，加速脑机接口、神经疾病诊断及人类行为分析领域的研究。

提出的方法

• 在三种实验范式下，从356名健康受试者中同步采集128导联EEG与视频红外眼动追踪数据。
• 对原始EEG与眼动追踪数据进行预处理，并发布原始数据与预处理后数据，附带特征提取代码。
• 设计三级基准测试：左右注视辨别、角度-振幅预测与绝对注视位置估计，任务复杂度逐级提升。
• 在基准测试上训练并评估多种模型，包括传统机器学习与深度神经网络，以建立性能基线。
• 发布一个完全可访问的开源接口，用于在EEGEyeNet基准上评估新型注视预测模型。
• 将数据集与代码托管于公共仓库（www.eegeye.net），并以CC BY许可发布，确保科学使用的无限制性。

实验结果

研究问题

• RQ1 仅凭EEG信号能否可靠预测眼动模式，包括注视方向与位置，而无需直接的眼动追踪输入？
• RQ2 在EEG数据上，不同复杂度的注视预测任务（左右注视、角度-振幅、绝对位置）的模型性能如何变化？
• RQ3 基于传统机器学习与深度学习方法，EEG驱动的注视预测性能基线表现如何？
• RQ4 在大型开放数据集中，EEG驱动的注视估计在不同受试者与实验条件下具有多大程度的泛化能力？
• RQ5 开放、可复现的基准测试在多大程度上能加速EEG驱动注视预测研究及其在神经科学与辅助技术中的应用？

主要发现

• EEGEyeNet数据集包含来自356名受试者的超过47小时同步128导联EEG与眼动追踪数据，均按照标准化、非侵入性协议采集。
• 基准测试成功在三个逐步复杂的任务层级上建立了性能基线：左右注视预测、角度-振幅估计与绝对注视位置预测。
• 传统机器学习模型与深度神经网络在注视预测任务中均表现出可测量的性能，其中深度学习模型在最复杂任务中表现更优。
• 数据集与基准测试已完全公开发布，包含完整代码与预处理流程，支持机构间可复现与可比性研究。
• 本研究通过去标识化、基于代码的受试者标识与排除敏感医疗数据，确保受试者隐私安全，并已获得所有受试者的伦理批准与正式知情同意。
• 数据集将定期更新，所有版本均保留在公共仓库中，确保长期可访问性与科学完整性。