[论文解读] Self-supervised EEG Representation Learning for Automatic Sleep Staging

Chaoqi Yang, Cao Xiao+2 more|arXiv (Cornell University)|Oct 27, 2021

EEG and Brain-Computer Interfaces参考文献 34被引用 20

一句话总结

本文提出 ContraWR，一种用于脑电信号（EEG）的自监督表示学习模型，通过利用整个数据集的全局统计特性来对比不同睡眠阶段，从而在无需大量人工标注的情况下实现高质量的特征学习。该方法在自动睡眠分期任务中达到最先进性能，优于自监督和监督基线模型，尤其在低标签数据设置下表现突出，在标签数据不足2%时仍实现4%的准确率提升。

ABSTRACT

Background: Deep learning models have shown great success in automating tasks in sleep medicine by learning from carefully annotated Electroencephalogram (EEG) data. However, effectively utilizing a large amount of raw EEG remains a challenge. Objective: In this paper, we aim to learn robust vector representations from massive unlabeled EEG signals, such that the learned vectorized features (1) are expressive enough to replace the raw signals in the sleep staging task; and (2) provide better predictive performance than supervised models in scenarios of fewer labels and noisy samples. Methods: We propose a self-supervised model, named Contrast with the World Representation (ContraWR), for EEG signal representation learning, which uses global statistics from the dataset to distinguish signals associated with different sleep stages. The ContraWR model is evaluated on three real-world EEG datasets that include both at-home and in-lab EEG recording settings. Results: ContraWR outperforms 4 recent self-supervised learning methods on the sleep staging task across 3 large EEG datasets. ContraWR also beats supervised learning when fewer training labels are available (e.g., 4% accuracy improvement when less than 2% data is labeled). Moreover, the model provides informative representative feature structures in 2D projection. Conclusions: We show that ContraWR is robust to noise and can provide high-quality EEG representations for downstream prediction tasks. The proposed model can be generalized to other unsupervised physiological signal learning tasks. Future directions include exploring task-specific data augmentations and combining self-supervised with supervised methods, building upon the initial success of self-supervised learning in this paper.

研究动机与目标

• 从大规模未标注脑电图数据中学习具有表现力且可泛化的表示，以实现自动睡眠分期。
• 克服监督学习在低数据量和标签噪声场景下的局限性。
• 开发一种自监督方法，无需人工标注标签即可捕捉有意义的睡眠阶段差异。
• 评估模型在不同脑电图记录环境（实验室内与居家）下的鲁棒性与可迁移性。
• 提供可解释的低维特征投影，以支持临床与分析洞察。

提出的方法

• ContraWR 采用对比学习框架，将整个脑电图数据集的全局统计量（如均值、方差）作为同一睡眠阶段的正样本。
• 模型通过对比不同睡眠阶段的嵌入表示，同时利用全局统计量作为锚点，将同一阶段的样本拉近，从而学习表示。
• 采用时间掩码和频域掩码等数据增强策略，生成同一脑电信号的正样本视图。
• 使用孪生神经网络架构将脑电图片段编码为潜在向量，并通过对比损失最小化类内方差、最大化类间分离。
• 最终表示由完整脑电图时段的平均嵌入向量获得，支持下游分类任务的最小微调。

实验结果

研究问题

• RQ1 自监督表示学习能否有效从原始未标注脑电信号中提取用于睡眠分期的判别性特征？
• RQ2 当仅有少量标签数据时，自监督模型的性能与监督基线相比如何？
• RQ3 数据集中全局统计模式能否作为脑电图对比学习中的有效正样本？
• RQ4 所学习的表示是否能在不同脑电图记录环境（实验室内 vs. 居家）中实现良好泛化？
• RQ5 模型所学特征是否可在低维空间中被有意义地可视化，以反映睡眠阶段的结构特征？

主要发现

• ContraWR 在三个大规模脑电图数据集上，相较于四种近期自监督学习方法，在自动睡眠分期任务中表现更优。
• 当仅使用2%的标签数据时，模型相比监督基线实现4%的准确率提升，展现出强大的数据效率。
• 在二维 t-SNE 投影中，所学表示展现出清晰且可解释的睡眠阶段聚类，表明其具备有意义的特征结构。
• ContraWR 对脑电图记录中的噪声和变异性具有鲁棒性，包括居家环境采集的数据。
• 该模型在下游任务中表现出良好的泛化能力，表明其在无监督生理信号学习领域具有广泛的应用潜力。