[论文解读] DeepSleepNet-Lite: A Simplified Automatic Sleep Stage Scoring Model with Uncertainty Estimates

Luigi Fiorillo, Paolo Favaro+1 more|arXiv (Cornell University)|Aug 24, 2021

EEG and Brain-Computer Interfaces参考文献 52被引用 106

一句话总结

DeepSleepNet-Lite 是一种轻量级的单导联 EEG 睡眠分期模型，仅通过处理 90 秒的序列，采用简化的前馈卷积神经网络架构。它在推理阶段利用蒙特卡洛 dropout 来估计预测不确定性，通过拒绝不确定的预测可提升性能——在 Sleep-EDF v1-2013 数据集上准确率最高达 86.1%，Cohen's kappa 达 0.81。

ABSTRACT

Deep learning is widely used in the most recent automatic sleep scoring algorithms. Its popularity stems from its excellent performance and from its ability to directly process raw signals and to learn feature from the data. Most of the existing scoring algorithms exploit very computationally demanding architectures, due to their high number of training parameters, and process lengthy time sequences in input (up to 12 minutes). Only few of these architectures provide an estimate of the model uncertainty. In this study we propose DeepSleepNet-Lite, a simplified and lightweight scoring architecture, processing only 90-seconds EEG input sequences. We exploit, for the first time in sleep scoring, the Monte Carlo dropout technique to enhance the performance of the architecture and to also detect the uncertain instances. The evaluation is performed on a single-channel EEG Fpz-Cz from the open source Sleep-EDF expanded database. DeepSleepNet-Lite achieves slightly lower performance, if not on par, compared to the existing state-of-the-art architectures, in overall accuracy, macro F1-score and Cohen's kappa (on Sleep-EDF v1-2013 +/-30mins: 84.0%, 78.0%, 0.78; on Sleep-EDF v2-2018 +/-30mins: 80.3%, 75.2%, 0.73). Monte Carlo dropout enables the estimate of the uncertain predictions. By rejecting the uncertain instances, the model achieves higher performance on both versions of the database (on Sleep-EDF v1-2013 +/-30mins: 86.1.0%, 79.6%, 0.81; on Sleep-EDF v2-2018 +/-30mins: 82.3%, 76.7%, 0.76). Our lighter sleep scoring approach paves the way to the application of scoring algorithms for sleep analysis in real-time.

研究动机与目标

• 开发一种简化的、轻量级的深度学习模型，用于自动睡眠分期，以降低计算需求。
• 通过仅处理 90 秒的 EEG 序列，实现对实时和家庭监测应用的支持。
• 在推理过程中无需额外架构或训练开销，即可估计模型不确定性。
• 通过基于不确定性估计拒绝不确定的预测，提升模型鲁棒性和性能。

提出的方法

• 采用简化的前馈卷积神经网络，包含两个并行分支，分别使用小滤波器和大滤波器，以捕捉时间模式和频率模式。
• 处理 90 秒的单导联 EEG（Fpz-Cz）序列，与先前模型相比减少了输入长度。
• 在测试阶段应用蒙特卡洛 dropout，通过多次前向传播采样来估计预测不确定性。
• 使用标签平滑技术，结合基于先验知识推导出的条件概率分布，以改善模型校准性。
• 实施一种查询程序，用于识别并拒绝不确定的预测，从而提升剩余样本的性能。
• 使用批量归一化和 ReLU 激活函数进行模型训练，通过最小化参数数量来减少小样本数据集上的过拟合。

实验结果

研究问题

• RQ1 轻量级的 90 秒输入架构是否能实现与最先进模型相当的睡眠分期性能？
• RQ2 蒙特卡洛 dropout 是否能在不修改网络架构的情况下提供可靠的不确定性估计？
• RQ3 通过拒绝不确定的预测，是否能提升睡眠分期的整体准确率和 F1 分数？
• RQ4 结合先验知识的标签平滑对模型校准性和性能有何影响？
• RQ5 参数量极少的最小化架构是否能在小样本数据集上实现良好泛化，而不会出现过拟合？

主要发现

• DeepSleepNet-Lite 在 Sleep-EDF v1-2013（±30 分钟）上实现了 84.0% 的准确率、78.0% 的宏平均 F1 分数和 0.78 的 Cohen's kappa，达到最先进性能。
• 在使用蒙特卡洛 dropout 拒绝不确定预测后，性能提升至在 Sleep-EDF v1-2013 上准确率达 86.1%、宏平均 F1 分数达 79.6%、kappa 达 0.81。
• 在 Sleep-EDF v2-2018 上，模型整体准确率达 80.3%，kappa 为 0.73，经不确定性拒绝后提升至准确率 82.3%、kappa 0.76。
• 不确定性估计程序成功识别出最具挑战性的睡眠阶段，尤其是 N1 和 N3，这些阶段通常容易被误分类。
• 结合先验知识的标签平滑改善了模型校准性，但与蒙特卡洛 dropout 联合使用时，并未一致提升性能或不确定性估计效果。
• 模型参数量极少（约 0.6M），使其对过拟合具有鲁棒性，适用于实时和家庭监测应用。