[论文解读] A Deep Learning Approach with an Attention Mechanism for Automatic Sleep Stage Classification

Martin Längkvist, Amy Loutfi|arXiv (Cornell University)|May 14, 2018

Speech Recognition and Synthesis参考文献 1被引用 11

一句话总结

本文提出一种与稀疏自编码器（SAE）集成的可选择性注意力机制，用于从多导睡眠图（PSG）数据中学习上下文感知的特征表示，以实现自动睡眠阶段分类。通过在训练过程中根据当前睡眠阶段动态加权输入特征，该模型在不进行降维的情况下改善了表征学习，相较于标准自编码器和深度置信网络，在25名患者的PSG数据集上实现了具有竞争力的性能。

ABSTRACT

Automatic sleep staging is a challenging problem and state-of-the-art algorithms have not yet reached satisfactory performance to be used instead of manual scoring by a sleep technician. Much research has been done to find good feature representations that extract the useful information to correctly classify each epoch into the correct sleep stage. While many useful features have been discovered, the amount of features have grown to an extent that a feature reduction step is necessary in order to avoid the curse of dimensionality. One reason for the need of such a large feature set is that many features are good for discriminating only one of the sleep stages and are less informative during other stages. This paper explores how a second feature representation over a large set of pre-defined features can be learned using an auto-encoder with a selective attention for the current sleep stage in the training batch. This selective attention allows the model to learn feature representations that focuses on the more relevant inputs without having to perform any dimensionality reduction of the input data. The performance of the proposed algorithm is evaluated on a large data set of polysomnography (PSG) night recordings of patients with sleep-disordered breathing. The performance of the auto-encoder with selective attention is compared with a regular auto-encoder and previous works using a deep belief network (DBN).

研究动机与目标

• 解决自动睡眠阶段分类中高维、阶段特异性特征的挑战。
• 探究可选择性注意力是否能在无需预先特征降维的情况下提升睡眠分期中的特征表征学习。
• 评估可选择性注意力自编码器相较于标准自编码器和深度置信网络（DBNs）的性能。
• 探究注意力机制是否能增强模型对各睡眠阶段相关特征的关注，从而提高分类的鲁棒性。

提出的方法

• 使用稀疏自编码器（SAE）从每秒28个预提取的PSG特征中学习压缩表征。
• 在训练批次中，基于当前睡眠阶段动态加权重构损失的注意力机制。
• 注意力机制降低了不相关特征的损失贡献，使模型能够聚焦于当前阶段具有信息量的输入。
• 模型采用S型激活函数，并包含L2权重衰减和基于KL散度的稀疏性正则化。
• 该架构将SAE与长短期记忆（LSTM）网络结合，以建模睡眠数据中的时序依赖性。
• 通过随机网格搜索调整超参数（λ, β, ρ），以平衡重构误差、权重衰减和稀疏性。

实验结果

研究问题

• RQ1 注意力机制是否能在无需降维的情况下提升自动睡眠阶段分类中的特征表征学习？
• RQ2 可选择性注意力自编码器在睡眠分期任务中的性能与标准自编码器和深度置信网络（DBN）相比如何？
• RQ3 基于注意力的特征加权是否能提升对睡眠阶段的区分能力，特别是对仅在特定阶段具有信息量的特征？
• RQ4 该模型是否能有效学习到阶段特异性特征的相关性，而无需人工特征选择或剪枝？

主要发现

• 可选择性注意力自编码器在25名患者的PSG数据集上的睡眠阶段分类准确率优于标准自编码器。
• 该模型与先前使用深度置信网络（DBNs）的工作相比表现出具有竞争力的性能，证明了基于注意力的表征学习的有效性。
• EEG频谱均值、分形指数以及EMG中位数/熵等特征分别在SWS、W和REM阶段表现出强区分能力。
• 注意力机制在训练过程中成功降低了无关特征的影响，使模型能够聚焦于与当前阶段相关的有信息量的输入。
• 该模型在保持高重构质量的同时学习到更具上下文相关性的表征，表明其具备更强的泛化潜力。