[论文解读] MAEEG: Masked Auto-encoder for EEG Representation Learning

Hsiang-Yun Sherry Chien, Hanlin Goh+2 more|arXiv (Cornell University)|Oct 27, 2022

EEG and Brain-Computer Interfaces被引用 15

一句话总结

MAEEG 是一种用于 EEG 表征学习的掩码自编码器，采用基于 Transformer 的架构来重建被掩码的 EEG 特征，在仅使用少量标注样本微调时，显著将睡眠阶段分类准确率提高了约 5%。该方法表明，在预训练期间采用更高的掩码比率和更集中（更长）的掩码片段可获得更好的下游性能。

ABSTRACT

Decoding information from bio-signals such as EEG, using machine learning has been a challenge due to the small data-sets and difficulty to obtain labels. We propose a reconstruction-based self-supervised learning model, the masked auto-encoder for EEG (MAEEG), for learning EEG representations by learning to reconstruct the masked EEG features using a transformer architecture. We found that MAEEG can learn representations that significantly improve sleep stage classification (~5% accuracy increase) when only a small number of labels are given. We also found that input sample lengths and different ways of masking during reconstruction-based SSL pretraining have a huge effect on downstream model performance. Specifically, learning to reconstruct a larger proportion and more concentrated masked signal results in better performance on sleep classification. Our findings provide insight into how reconstruction-based SSL could help representation learning for EEG.

研究动机与目标

• 开发一种用于 EEG 表征学习的自监督学习方法，以减少对大规模标注数据集的依赖。
• 研究基于重建的自监督学习（SSL）如何提升下游 EEG 分类任务的性能，特别是在标注数据有限的情况下。
• 评估不同掩码策略（如掩码比率、掩码集中度和掩码跨度）对 EEG 的 SSL 性能的影响。
• 将 MAEEG 与现有 SSL 模型（如 BENDR）在表征质量与下游任务性能方面进行比较。

提出的方法

• MAEEG 采用两阶段架构：卷积编码器将原始的 6 通道 EEG 信号转换为潜在特征，随后由基于 Transformer 的解码器重建这些特征中的被掩码部分。
• 该模型在预训练期间通过随机掩码 25%、50% 或 75% 的潜在特征 token 来实现掩码自编码。
• 掩码操作在潜在空间中进行，支持多种短片段掩码或单一长连续掩码，以研究掩码集中度的影响。
• 模型通过最小化原始特征与重建特征之间差异的重建损失进行预训练。
• 预训练完成后，使用少量标注样本对编码器进行微调，以执行下游睡眠阶段分类任务。
• 该方法在 2018 年 PhysioNet 挑战赛 EEG 数据集上进行评估，性能通过在 5 个睡眠阶段上的分类准确率进行衡量。

实验结果

研究问题

• RQ1 基于重建的自监督学习是否能提升在标注数据有限情况下的 EEG 表征学习用于睡眠阶段分类？
• RQ2 掩码比率（25%、50%、75%）如何影响 MAEEG 中学习表征的质量？
• RQ3 被掩码区域的空间集中度（例如，单一长掩码 vs. 多个短掩码）是否会影响下游性能？
• RQ4 掩码跨度的长度如何影响表征质量和下游任务准确率？
• RQ5 在低标签数据环境下，MAEEG 是否优于现有 SSL 模型（如 BENDR）在下游睡眠阶段分类任务中的表现？

主要发现

• 当仅使用 0.1% 的标注数据（约 4 小时）进行微调时，MAEEG 预训练使睡眠阶段分类准确率提高了约 5%。
• 使用 75% 掩码比率预训练的模型优于 50% 或 25% 掩码比率的模型，表明更高的掩码比率可生成更优的表征。
• 单一、长连续掩码（即集中式掩码）带来的下游性能优于多个较短、碎片化的掩码。
• 与较短跨度相比，预训练期间使用更长的掩码跨度能持续提升下游分类准确率，尤其在标签稀缺时表现更优。
• MAEEG 预训练带来的性能增益在不同下游数据划分中保持一致，且对受试者差异和标签不平衡具有鲁棒性。
• 结果表明，强制模型重建更大、连续的 EEG 信号片段，可增强其学习有意义的时间与频谱关系的能力。