[论文解读] Improving self-supervised pretraining models for epileptic seizure detection from EEG data

Sudip Das, Pankaj Pandey+1 more|arXiv (Cornell University)|Jun 28, 2022

EEG and Brain-Computer Interfaces被引用 11

一句话总结

该论文通过在扩散卷积循环神经网络（DCRNN）上应用自监督预训练，利用基于距离和基于相关性的图结构生成掩码预测的代理任务，提升了从EEG数据中检测癫痫发作的性能。该方法相比最先进模型将AUROC提升了1.56%，其中基于距离的图结构相比基于相关性的图结构表现出更稳定和更准确的结果。

ABSTRACT

There is abundant medical data on the internet, most of which are unlabeled. Traditional supervised learning algorithms are often limited by the amount of labeled data, especially in the medical domain, where labeling is costly in terms of human processing and specialized experts needed to label them. They are also prone to human error and biased as a select few expert annotators label them. These issues are mitigated by Self-supervision, where we generate pseudo-labels from unlabelled data by seeing the data itself. This paper presents various self-supervision strategies to enhance the performance of a time-series based Diffusion convolution recurrent neural network (DCRNN) model. The learned weights in the self-supervision pretraining phase can be transferred to the supervised training phase to boost the model's prediction capability. Our techniques are tested on an extension of a Diffusion Convolutional Recurrent Neural network (DCRNN) model, an RNN with graph diffusion convolutions, which models the spatiotemporal dependencies present in EEG signals. When the learned weights from the pretraining stage are transferred to a DCRNN model to determine whether an EEG time window has a characteristic seizure signal associated with it, our method yields an AUROC score $1.56\%$ than the current state-of-the-art models on the TUH EEG seizure corpus.

研究动机与目标

• 通过利用大量未标注的医疗数据，缓解癫痫诊断中EEG标注数据稀缺的问题。
• 通过自监督预训练提升监督式DCRNN模型在癫痫发作检测中的性能。
• 评估不同图结构（基于距离和基于相关性）对自监督有效性的影响。
• 通过优化时间序列EEG数据的代理任务，降低模型方差并提升泛化能力。
• 建立一个稳健且可迁移的自监督框架，适用于其他时间序列医疗信号。

提出的方法

• 在TUH EEG发作语料库的未标注EEG片段上，使用自监督代理任务对DCRNN编码器进行预训练。
• 采用掩码预测任务，即模型根据当前12秒输入预测未来的12秒EEG窗口。
• 利用EEG电极之间的欧氏距离构建空间图（基于距离），并利用相关性构建功能连接图（基于相关性）。
• 将预训练的编码器权重迁移至监督式DCRNN分类器，用于癫痫发作检测。
• 在单张NVIDIA RTX 5000 GPU上，使用1500的批量大小进行训练，采用先前研究中的标准超参数。
• 使用AUROC评估性能，每种策略独立运行五次以确保统计可靠性。

实验结果

研究问题

• RQ1 自监督预训练能否提升DCRNN模型在EEG数据中检测癫痫发作的性能？
• RQ2 不同的图构建方法（基于距离 vs 基于相关性）如何影响自监督在EEG时间序列建模中的有效性？
• RQ3 在未标注EEG数据上进行预训练是否能降低下游癫痫分类中的方差并提升泛化能力？
• RQ4 自监督学习是否能在不依赖额外标注数据的情况下实现最先进性能？
• RQ5 不同代理任务和图类型对模型鲁棒性及AUROC性能的相对贡献如何？

主要发现

• 所提出的自监督策略在TUH EEG发作语料库上相比先前最先进方法，将AUROC提升了1.56%。
• 基于距离的图结构始终优于基于相关性的图结构，在所有运行中均实现了更高的AUROC和更低的标准差。
• 在所有五种测试的自监督方法中，基于距离的随机采样策略表现最佳。
• 基于相关性的模型表现出更高的方差和更低的性能，损失函数收敛更快但收敛于更高的值，导致提前停止，从而得到次优结果。
• 预训练阶段显著增强了模型的泛化能力，且对下游训练流程的改动极小。
• 结果具有可重复性，对两种策略在两种图类型上重新运行，结果均在误差范围内。