[论文解读] Decoding Human Attentive States from Spatial-temporal EEG Patches Using Transformers

Yi Ding, Joon Hei Lee+3 more|ArXiv.org|Feb 6, 2025

EEG and Brain-Computer Interfaces被引用 3

一句话总结

EEG-PatchFormer 是一个基于 Transformer 的模型，通过空间-时间补丁联合学习时空 EEG 特征，并对补丁进行处理以供 Transformer 分类注意状态，在公开的认知注意数据集上达到最先进的结果。

ABSTRACT

Learning the spatial topology of electroencephalogram (EEG) channels and their temporal dynamics is crucial for decoding attention states. This paper introduces EEG-PatchFormer, a transformer-based deep learning framework designed specifically for EEG attention classification in Brain-Computer Interface (BCI) applications. By integrating a Temporal CNN for frequency-based EEG feature extraction, a pointwise CNN for feature enhancement, and Spatial and Temporal Patching modules for organizing features into spatial-temporal patches, EEG-PatchFormer jointly learns spatial-temporal information from EEG data. Leveraging the global learning capabilities of the self-attention mechanism, it captures essential features across brain regions over time, thereby enhancing EEG data decoding performance. Demonstrating superior performance, EEG-PatchFormer surpasses existing benchmarks in accuracy, area under the ROC curve (AUC), and macro-F1 score on a public cognitive attention dataset. The code can be found via: https://github.com/yi-ding-cs/EEG-PatchFormer .

研究动机与目标

• 通过联合建模空间和时间动态，推动从 EEG 解码人类注意状态的研究。
• 引入基于补丁的 Transformer 架构以捕捉随时间变化的跨区域脑活动。
• 设计模块以提取基于频率的特征、增强表示，并将它们组织为供 Transformer 处理的时空补丁。
• 在公开数据集上展示相对于现有 EEG 注意分类方法的卓越性能。

提出的方法

• Temporal CNN 从 EEG 信号中提取基于频率的时间特征。
• 使用 1x1 卷积进行特征增强，以 refined 并降低特征维度。
• Spatial Patching Module 具有局部和全局分支以生成空间补丁。
• Local spatial learner 进行脑区分组处理和通道级过滤。
• Global spatial learner 在所有通道上进行最终 CNN 处理。
• Temporal Patching Module 通过滑动窗口和线性投影创建重叠的时间补丁。
• Transformer 编码器有 4 层处理时空 token，随后进入全连接分类器。

实验结果

研究问题

• RQ1 一个利用时空 EEG 补丁的 Transformer 基模型是否能在注意状态分类上优于现有方法？
• RQ2 通过补丁设计实现局部/全局空间信息与时间动态的联合学习是否能提升解码性能？
• RQ3 补丁设计选择（重叠、长度）对分类指标有何影响？
• RQ4 与基线 EEG 架构相比，EEG-PatchFormer 在公开注意数据集上的 ACC、AUC 和 macro-F1 指标表现如何？

主要发现

• EEG-PatchFormer 在对比基线中实现了最高的平均 ACC 75.63%。
• 在评估方法中达到最高的 AUC 85.06%。
• 达到最高的 macro-F1 75.04%。
• 消融分析显示去除组件（FEM、SPM、OTPM）会降低性能，尤其在没有 SPM 时。
• 在 TPM 中最佳时间补丁长度为 20 个数据点，可获得最佳指标。
• 总体而言，该模型在 ACC、AUC 和 macro-F1 上优于 DGCNN、LGGNet、TSception 和 ViT。