[论文解读] A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications

Lukas Wolf, Ard Kastrati+6 more|arXiv (Cornell University)|Jun 17, 2022

Gaze Tracking and Assistive Technology被引用 4

一句话总结

该论文提出了一种名为DETRtime的新颖深度学习框架，能够对脑电信号（EEG）进行端到端分割，识别出眼动事件——注视、扫视和眨眼——且无需依赖基于视频的眼动追踪数据。该框架基于DETR目标检测架构的时间序列改进版本，其在四种眼动追踪范式中均实现了最先进性能，并能有效泛化至EEG睡眠阶段分割任务。

ABSTRACT

The collection of eye gaze information provides a window into many critical aspects of human cognition, health and behaviour. Additionally, many neuroscientific studies complement the behavioural information gained from eye tracking with the high temporal resolution and neurophysiological markers provided by electroencephalography (EEG). One of the essential eye-tracking software processing steps is the segmentation of the continuous data stream into events relevant to eye-tracking applications, such as saccades, fixations, and blinks. Here, we introduce DETRtime, a novel framework for time-series segmentation that creates ocular event detectors that do not require additionally recorded eye-tracking modality and rely solely on EEG data. Our end-to-end deep learning-based framework brings recent advances in Computer Vision to the forefront of the times series segmentation of EEG data. DETRtime achieves state-of-the-art performance in ocular event detection across diverse eye-tracking experiment paradigms. In addition to that, we provide evidence that our model generalizes well in the task of EEG sleep stage segmentation.

研究动机与目标

• 开发一种深度学习框架，无需依赖基于视频的眼动追踪数据，即可将EEG数据分割为眼动事件（注视、扫视、眨眼）。
• 将原本专为图像目标检测设计的DETR架构，适配为适用于EEG信号的时间序列分割模型。
• 构建一种统一的端到端方法，能够以高时间分辨率（2 ms）精确检测多种眼动事件，并准确定位其起始与结束时间。
• 在多种实验范式中评估模型性能，并证明其在其他时间序列分割任务（如睡眠分期）中的泛化能力。
• 提供一个公开可用的基准数据集，包含139,000次注视、139,000次扫视和14,000次眨眼，配以EEG信号与红外眼动追踪的真实标注。

提出的方法

• DETRtime是一种基于Transformer的架构，专为序列化EEG数据设计，将可变长度的时间序列输入映射为类别标签序列。
• 该模型采用可学习的对象查询机制与集合预测头，可同时预测多个眼动事件，类似于计算机视觉中的实例分割。
• 通过多头自注意力机制捕捉EEG信号中的长程依赖关系，实现对事件边界的高度精确识别。
• 采用匈牙利损失函数进行端到端训练，实现预测结果与真实事件实例之间的匹配，确保对事件起始与结束时间的准确检测。
• 模型以2 ms的时间分辨率进行评估，支持对眼动事件的细粒度分割。
• 评估了多种主干网络（如EEGNet、EEG-TCN），以确定适用于EEG数据的最优特征提取组件。

实验结果

研究问题

• RQ1 像DETR这样的基于Transformer的架构能否被有效适配用于EEG时间序列分割，以在无外部眼动追踪数据的情况下检测眼动事件？
• RQ2 在多种实验范式中，DETRtime在眼动事件检测的精确率、召回率与F1分数方面，相较于现有最先进模型表现如何？
• RQ3 DETRtime在其他时间序列分割任务（如EEG睡眠阶段分类）中的泛化能力如何？
• RQ4 EEG基眼动事件检测中的主要挑战是什么，特别是如何区分垂直扫视与眨眼等相似事件？
• RQ5 统一的端到端深度学习框架能否消除EEG基眼动事件分割中对独立预处理或手工特征工程流程的依赖？

主要发现

• 在四种眼动追踪范式中，DETRtime的平均精确率为0.936，召回率为0.902，显著优于现有最先进模型。
• 该模型在Sleep-EDF-153数据集上的EEG睡眠阶段分割任务中表现优异，优于当前最先进方法，展现出强大的泛化能力。
• DETRtime在注视事件上的F1分数高于扫视与眨眼，反映出在区分相似信号模式（尤其是垂直扫视与眨眼）时的挑战。
• 消融实验证实，使用DETRtime时无需单独的分割流程，因其端到端架构本身即可有效处理事件定位。
• 该模型在不同EEG信号质量与受试者个体差异下表现稳健，尽管针对每位受试者进行微调可进一步提升性能。
• 所提出的基准数据集包含168名受试者与292,000个标注的眼动事件，为未来EEG基眼动分析研究提供了宝贵资源。