[论文解读] L-SeqSleepNet: Whole-cycle Long Sequence Modelling for Automatic Sleep Staging

Huy P. Phan, Kristian P. Lorenzen+8 more|arXiv (Cornell University)|Jan 9, 2023

EEG and Brain-Computer Interfaces被引用 10

一句话总结

L-SeqSleepNet 引入整周期长序列建模用于睡眠分期，在多种脑电图设置下实现最先进的结果，具备高效的长序列处理和单通道输入。

ABSTRACT

Human sleep is cyclical with a period of approximately 90 minutes, implying long temporal dependency in the sleep data. Yet, exploring this long-term dependency when developing sleep staging models has remained untouched. In this work, we show that while encoding the logic of a whole sleep cycle is crucial to improve sleep staging performance, the sequential modelling approach in existing state-of-the-art deep learning models are inefficient for that purpose. We thus introduce a method for efficient long sequence modelling and propose a new deep learning model, L-SeqSleepNet, which takes into account whole-cycle sleep information for sleep staging. Evaluating L-SeqSleepNet on four distinct databases of various sizes, we demonstrate state-of-the-art performance obtained by the model over three different EEG setups, including scalp EEG in conventional Polysomnography (PSG), in-ear EEG, and around-the-ear EEG (cEEGrid), even with a single EEG channel input. Our analyses also show that L-SeqSleepNet is able to alleviate the predominance of N2 sleep (the major class in terms of classification) to bring down errors in other sleep stages. Moreover the network becomes much more robust, meaning that for all subjects where the baseline method had exceptionally poor performance, their performance are improved significantly. Finally, the computation time only grows at a sub-linear rate when the sequence length increases.

研究动机与目标

• 促使在睡眠分期中使用长期、整周期的时间结构，以提升准确性。
• 开发适用于整段睡眠周期（约90分钟）的高效长序列建模架构。
• 展示模型在不同 EEG 模态和数据库中的鲁棒性与可迁移性。
• 显示整周期建模在保持计算效率的同时，降低不同睡眠阶段的误分类率。

提出的方法

• 通过 STFT 将每个 30 秒 EEG 时域分段转换为对数幅度时-频图。
• 使用具有可学习滤波组的共享子网络、BLSTM 和门控注意力对每个时域分段进行编码，以生成时段嵌入。
• 将长序列折叠为不重叠的子序列，应用子序列内的 BLSTM 处理并带残差连接，然后进行子序列间的 BLSTM 建模并展开为长序列。
• 使用对整个序列的交叉熵损失并加入 L2 正则化进行训练。
• 使用一个两层全连接分类器，带 ReLU 激活和 softmax 输出，为长序列中的所有时段预测阶段概率。

实验结果

研究问题

• RQ1 用整周期睡眠信息建模（长序列）是否能优于传统的短上下文方法来改善自动睡眠分期？
• RQ2 在不同 EEG 设置（头皮、耳内、cEEGrid）使用单通道输入时，长序列建模是否能维持或提升准确性？
• RQ3 整周期建模对类别级别表现有何影响，特别是对不平衡类别如 N3 和 REM？
• RQ4 长序列方法在计算效率和随序列长度的可扩展性方面是否成立？

主要发现

• L-SeqSleepNet 在四个数据库上无论是随机初始化还是基于预训练初始化都持续超越 SeqSleepNet 基线。
• 在 SHHS 上，L-SeqSleepNet 实现 88.4% 的准确率，在所报道的设置中领先 SleepTransformer 和 XSleepNet 0.7–0.8 个百分点。
• 使用预训练时，SleepEDF、耳-EEG 和 cEEGrid 的增益分别达到基线之上 1.0%、1.9% 和 3.9%。
• 长周期建模在所有数据集上降低了 N3 和 REM 的错误率，同时在 N2 上有所权衡性上升，表明对基于周期的结构有更好的处理。
• 该方法具有鲁棒性，在基线表现不佳的被试上提升表现，且计算增长与序列长度呈次线性关系。