[论文解读] SLEEPNET: Automated Sleep Staging System via Deep Learning

Siddharth Biswal, Joshua A. Kulas+5 more|arXiv (Cornell University)|Jul 26, 2017

EEG and Brain-Computer Interfaces参考文献 27被引用 105

一句话总结

SLEEPNET 在一个大规模、异质的睡眠研究数据集上训练深度神经网络，自动从 EEG 标注睡眠阶段；在 1,000 个保留记录上达到专家水平性能（准确率约 85.8%，Kappa 约 0.794），并已在 MGH 部署。

ABSTRACT

Sleep disorders, such as sleep apnea, parasomnias, and hypersomnia, affect 50-70 million adults in the United States (Hillman et al., 2006). Overnight polysomnography (PSG), including brain monitoring using electroencephalography (EEG), is a central component of the diagnostic evaluation for sleep disorders. While PSG is conventionally performed by trained technologists, the recent rise of powerful neural network learning algorithms combined with large physiological datasets offers the possibility of automation, potentially making expert-level sleep analysis more widely available. We propose SLEEPNET (Sleep EEG neural network), a deployed annotation tool for sleep staging. SLEEPNET uses a deep recurrent neural network trained on the largest sleep physiology database assembled to date, consisting of PSGs from over 10,000 patients from the Massachusetts General Hospital (MGH) Sleep Laboratory. SLEEPNET achieves human-level annotation performance on an independent test set of 1,000 EEGs, with an average accuracy of 85.76% and algorithm-expert inter-rater agreement (IRA) of kappa = 79.46%, comparable to expert-expert IRA.

研究动机与目标

• 利用一个大规模、异质的过夜睡眠数据库来训练一个自动化睡眠分期系统。
• 开发一个端到端的深度学习模型，能够以临床可接受的准确性标注 EEG 睡眠阶段。
• 将模型与专家标注进行对比评估，并评估在真实临床环境中的部署可行性。
• 提供便于临床医生使用的界面和定量报告，以支持睡眠医学工作流程。

提出的方法

• 从 EEG 数据中提取多种特征表示（原始波形、通过多重抽样谱分析的谱图，以及专家定义的特征）。
• 训练并比较多种分类器，包括逻辑回归、树提升、MLP、CNN、RNN 以及 RCNN；识别最佳性能配置。
• 使用端到端的深度模型（最佳：带有专家定义特征的循环神经网络）输出 30 秒分期睡眠分期图（hypnogram）。
• 以准确率和 Cohen’s kappa 与专家标注进行对比评估，并分析混淆模式。
• 通过 Docker 部署最佳模型在临床网页界面，以实现实时评分和可视化。

实验结果

研究问题

• RQ1 深度学习模型是否能够在大型、结构多样的 PSG 数据集上学习鲁棒的睡眠分期，而无需子群体分层？
• RQ2 哪种特征表示和模型架构能获得与专家睡眠技术人员最高的一致性？
• RQ3 在真实世界数据中，自动睡眠分期的表现与专家之间的互评（IRA）相比如何？
• RQ4 部署的系统在传统睡眠实验室和 ICU 设置中点对照使用的可行性如何？

主要发现

• 最佳表现的模型是使用专家定义特征的 RNN，在 1,000 测试集上达到 85.76% 的准确率和 0.794 的 Cohen’s kappa。
• 在特征-模型组合中，专家定义的特征配合 RNN 能给出最高的一致性和准确性（Kappa 0.794，Accuracy 0.857）。
• 深度模型在所有特征类型中普遍优于传统方法（LR、TB、MLP）。
• RCNN 与其他深度结构也表现出竞争力，长期时间建模的明显优势。
• 研究显示在 9,000 名受试者上训练、在 1,000 名受试者上测试，证明了对大规模数据集的可扩展性。
• 在 MGH 的临床环境中部署显示出实际可行性，具备网页界面和逐案评分功能。