[论文解读] SalientSleepNet: Multimodal Salient Wave Detection Network for Sleep Staging

Ziyu Jia, Youfang Lin+4 more|arXiv (Cornell University)|May 24, 2021

EEG and Brain-Computer Interfaces参考文献 26被引用 13

一句话总结

SalientSleepNet 是一种新颖的深度学习模型，采用受 U²-Net 启发的架构，直接从原始信号中检测多模态睡眠数据（EEG 和 EOG）中的显著波，并捕捉多尺度睡眠转换规则。该模型在现有深度学习模型中参数量最小，同时实现了最先进（SOTA）的睡眠分期性能，通过多模态注意力机制自适应地加权不同模态的贡献。

ABSTRACT

Sleep staging is fundamental for sleep assessment and disease diagnosis. Although previous attempts to classify sleep stages have achieved high classification performance, several challenges remain open: 1) How to effectively extract salient waves in multimodal sleep data; 2) How to capture the multi-scale transition rules among sleep stages; 3) How to adaptively seize the key role of specific modality for sleep staging. To address these challenges, we propose SalientSleepNet, a multimodal salient wave detection network for sleep staging. Specifically, SalientSleepNet is a temporal fully convolutional network based on the $ m U^2$-Net architecture that is originally proposed for salient object detection in computer vision. It is mainly composed of two independent $ m U^2$-like streams to extract the salient features from multimodal data, respectively. Meanwhile, the multi-scale extraction module is designed to capture multi-scale transition rules among sleep stages. Besides, the multimodal attention module is proposed to adaptively capture valuable information from multimodal data for the specific sleep stage. Experiments on the two datasets demonstrate that SalientSleepNet outperforms the state-of-the-art baselines. It is worth noting that this model has the least amount of parameters compared with the existing deep neural network models.

研究动机与目标

• 解决从多模态睡眠信号中有效提取显著波的挑战，而无需依赖手工设计的特征。
• 使用前馈架构而非 RNN，对睡眠阶段（N1、N2、N3、REM、W）之间的多尺度转换规则进行建模。
• 自适应地捕捉 EEG 和 EOG 模态在不同睡眠阶段中的贡献差异，从而提高分类准确率。

提出的方法

• 采用双流 U²-Net 架构，通过嵌套的 U-单元分别独立检测 EEG 和 EOG 信号中的显著波模式。
• 引入使用空洞卷积的多尺度提取模块，以捕捉睡眠阶段间长、中、短距离的转换模式。
• 采用多模态注意力模块（MMA），根据目标睡眠阶段动态加权 EEG 和 EOG 特征的重要性。
• 在多尺度模块中引入瓶颈层，使模型参数量减少 16% 而不损失性能。
• 直接处理原始生理信号，避免时间-频率图像转换，完整保留信号信息。
• 在两个公开数据集上使用交叉熵损失端到端训练，超参数详见附录。

实验结果

研究问题

• RQ1 基于 U²-Net 的架构能否有效检测原始 EEG 和 EOG 信号中的显著波（如纺锤波、K 复合波、δ 波）以实现睡眠分期？
• RQ2 如何在无循环组件的前馈卷积网络中有效建模睡眠阶段间的多尺度转换规则（短、中、长距离）？
• RQ3 可学习的注意力机制在多大程度上能自适应地强调每个睡眠阶段中最具信息量的模态（EEG 或 EOG）？
• RQ4 所提出的架构是否在保持最小模型规模的同时实现了最先进性能？

主要发现

• SalientSleepNet 在两个公开数据集上均取得最高整体准确率和 F1 分数，优于所有最先进基线模型。
• 该模型显著提升了 N1 阶段的 F1 分数，该阶段通常因与 REM 阶段相似而难以分类。
• 多模态注意力模块通过动态加权模态贡献显著提升性能，尤其在区分 N1 和 REM 阶段方面表现突出。
• 该模型仅包含 948,795 个参数，相比未使用瓶颈层的版本减少了 16%，是本文报道的最小的深度学习睡眠分期模型。
• 可视化结果证实，SalientSleepNet 成功检测到已知的显著波，如 N2 阶段的睡眠纺锤波、N2 阶段的 K 复合波、N3 阶段的 δ 波，以及 N1 和 REM 阶段的慢速/快速眼球运动。
• 消融实验表明，U²-结构、多尺度提取和多模态注意力每个组件均对性能提升有逐步贡献。