[论文解读] A deep learning architecture for temporal sleep stage classification using multivariate and multimodal time series

Stanislas Chambon, Mathieu Galtier+3 more|arXiv (Cornell University)|Jul 5, 2017

EEG and Brain-Computer Interfaces参考文献 50被引用 594

一句话总结

本文提出一种端到端深度学习模型，从多变量和多模态 PSG 信号（EEG、EOG、EMG）学习，以具有时间上下文的方式对睡眠阶段进行分类，在公开数据上实现了最先进的结果。

ABSTRACT

Sleep stage classification constitutes an important preliminary exam in the diagnosis of sleep disorders. It is traditionally performed by a sleep expert who assigns to each 30s of signal a sleep stage, based on the visual inspection of signals such as electroencephalograms (EEG), electrooculograms (EOG), electrocardiograms (ECG) and electromyograms (EMG). We introduce here the first deep learning approach for sleep stage classification that learns end-to-end without computing spectrograms or extracting hand-crafted features, that exploits all multivariate and multimodal Polysomnography (PSG) signals (EEG, EMG and EOG), and that can exploit the temporal context of each 30s window of data. For each modality the first layer learns linear spatial filters that exploit the array of sensors to increase the signal-to-noise ratio, and the last layer feeds the learnt representation to a softmax classifier. Our model is compared to alternative automatic approaches based on convolutional networks or decisions trees. Results obtained on 61 publicly available PSG records with up to 20 EEG channels demonstrate that our network architecture yields state-of-the-art performance. Our study reveals a number of insights on the spatio-temporal distribution of the signal of interest: a good trade-off for optimal classification performance measured with balanced accuracy is to use 6 EEG with 2 EOG (left and right) and 3 EMG chin channels. Also exploiting one minute of data before and after each data segment offers the strongest improvement when a limited number of channels is available. As sleep experts, our system exploits the multivariate and multimodal nature of PSG signals in order to deliver state-of-the-art classification performance with a small computational cost.

研究动机与目标

• 将自动睡眠阶段分类动机化并将其作为不平衡的多类预测问题来解决。
• 提出一个端到端的深度网络，从原始多变量 PSG 信号学习，无需手工特征。
• 利用空间滤波和时间上下文以提高鲁棒性和性能。
• 与最先进的方法进行基准比较并分析传感器配置和时间上下文的影响。

提出的方法

• 引入一个端到端的深度架构，学习线性空间滤波器，为每种模态（EEG/EOG 和 EMG）创建虚拟通道。
• 使用具有卷积块、ReLU 和最大池化的分支对来从每种模态提取光谱特征。
• 将模态特定特征结合并输入到 softmax 分类器以输出睡眠阶段概率。
• 扩展为一个时间分布的多变量网络，聚合来自相邻的 30 s 片段的特征，以纳入时间上下文。
• 使用平衡的小批量和 Adam 优化进行训练，并采用早停以提高鲁棒性。

实验结果

研究问题

• RQ1 从原始的多变量 PSG 信号进行端到端学习是否可以超越手工特征方法在睡眠阶段分类上的表现？
• RQ2 引入空间（多通道）信息如何影响分类性能和鲁棒性？
• RQ3 时间上下文对分类准确性和睡眠阶段转变有什么影响？
• RQ4 通道数量、额外模态和计算成本之间的权衡是什么？

主要发现

• 使用并行管道的多变量数据（EEG + EOG）并配合 EMG，在61个公开 PSG 记录上达到最先进的性能。
• 增加更多分布均匀的 EEG 通道在平衡准确率方面提高到一定点，超过六个通道后收益递减，除非使用额外模态。
• 引入 EOG 与 EMG 模态可提升性能，特别是在 EEG 通道集较小的情况下。
• 在空间上下文受限时，时间上下文有助于提高某些阶段（如 N1、N2、REM）的准确性，但过多的时间上下文可能降低唤醒和 N3 的性能。
• 所提出的多变量、多模态架构在相对较低的计算成本下相比基线仍表现出强劲性能。