[论文解读] Combining Generative and Discriminative Neural Networks for Sleep Stages Classification

Endang Purnama Giri, Mohamad Ivan Fanany+1 more|arXiv (Cornell University)|Oct 6, 2016

EEG and Brain-Computer Interfaces参考文献 7被引用 12

一句话总结

本文提出一种混合深度学习模型，结合深度置信网络（DBN）进行分层特征提取和长短期记忆（LSTM）网络进行序列建模，以提升睡眠阶段分类性能。该方法在基准数据集上达到98.75%的准确率，在自建的MKG数据集上达到98.94%，优于先前的最先进方法（91.31%），通过利用EEG、EOG和EMG信号中的时间模式，并以手工设计特征作为输入，实现了显著性能提升。

ABSTRACT

Sleep stages pattern provides important clues in diagnosing the presence of sleep disorder. By analyzing sleep stages pattern and extracting its features from EEG, EOG, and EMG signals, we can classify sleep stages. This study presents a novel classification model for predicting sleep stages with a high accuracy. The main idea is to combine the generative capability of Deep Belief Network (DBN) with a discriminative ability and sequence pattern recognizing capability of Long Short-term Memory (LSTM). We use DBN that is treated as an automatic higher level features generator. The input to DBN is 28 "handcrafted" features as used in previous sleep stages studies. We compared our method with other techniques which combined DBN with Hidden Markov Model (HMM).In this study, we exploit the sequence or time series characteristics of sleep dataset. To the best of our knowledge, most of the present sleep analysis from polysomnogram relies only on single instanced label (nonsequence) for classification. In this study, we used two datasets: an open data set that is treated as a benchmark; the other dataset is our sleep stages dataset (available for download) to verify the results further. Our experiments showed that the combination of DBN with LSTM gives better overall accuracy 98.75\% (Fscore=0.9875) for benchmark dataset and 98.94\% (Fscore=0.9894) for MKG dataset. This result is better than the state of the art of sleep stages classification that was 91.31\%.

研究动机与目标

• 通过整合生成式与判别式深度学习模型，提升睡眠阶段分类的准确性。
• 解决现有方法将睡眠阶段视为独立实例而非时间序列的局限性。
• 评估混合DBN-LSTM架构在基准数据集和自建睡眠数据集上的性能。
• 将所提模型与先前最先进方法进行比较，特别是DBN-HMM及其他混合模型。
• 探究在高精度睡眠分期中使用手工设计特征与深度学习结合的可行性。

提出的方法

• 在从EEG、EOG和EMG信号中提取的28个手工设计特征上，以无监督方式预训练深度置信网络（DBN）。
• 将DBN用作分层特征提取器，将原始特征转换为更高层次的表示。
• 将DBN学习到的特征输入长短期记忆（LSTM）网络，以建模睡眠阶段之间的时序依赖关系。
• 利用LSTM捕捉睡眠阶段转换中长距离序列模式的能力。
• 使用对比散度在堆叠的受限玻尔兹曼机（RBMs）上训练DBN，随后通过反向传播进行微调。
• 将联合DBN+LSTM模型应用于两个数据集：一个公开的基准数据集和一个新采集的MKG数据集以进行验证。

实验结果

研究问题

• RQ1 将生成式模型（DBN）与序列判别式模型（LSTM）结合，是否能相比现有方法提升睡眠阶段分类的准确性？
• RQ2 DBN+LSTM模型在基准数据集和新采集的睡眠数据集上的整体准确率和F1分数表现如何？
• RQ3 将睡眠阶段建模为时间序列而非独立实例，对分类性能有何影响？
• RQ4 与最先进水平相比，分类结果如何，特别是与先前工作中报道的91.31%准确率相比？
• RQ5 哪些睡眠阶段对最难以区分，该模型在这些类别上的表现如何？

主要发现

• DBN+LSTM模型在基准数据集上实现了98.75%的整体准确率和0.9875的F1分数，显著优于先前最先进水平（91.31%）。
• 在自建的MKG数据集上，模型达到98.94%的整体准确率和0.9894的F1分数，表现出强大的泛化能力。
• DBN+LSTM的混淆矩阵显示S3（深睡期）和REM阶段的分类近乎完美，准确率超过98%。
• 最具有挑战性的睡眠阶段对是S1与S2，因其EOG和EMG波形特征相似；在MKG数据集中，WAKE与S1的区分也较困难。
• 与DBN+HMM相比，LSTM组件显著提升了性能，F1分数更高，且在各折中预测更一致。
• DBN预训练阶段的训练时间为每折42–45分钟，而完整训练在基准数据集上耗时约4小时，在MKG数据集上耗时约17小时，推理时间仅需约16秒（处理20,000个样本）。