[论文解读] Adversarial Domain Adaptation with Self-Training for EEG-based Sleep Stage Classification.

Emadeldeen Eldele, Mohamed Ragab+5 more|arXiv (Cornell University)|Jul 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用 4

一句话总结

本文提出了一种用于基于EEG的睡眠阶段分类的对抗性域自适应框架，结合自训练方法，采用非共享注意力机制以保留域特定特征，并采用双分类器自训练策略与伪标签技术，实现域间细粒度类别分布的对齐。该方法在六个跨域睡眠分期场景中均取得了最先进性能。

ABSTRACT

Sleep staging is of great importance in the diagnosis and treatment of sleep disorders. Recently, numerous data driven deep learning models have been proposed for automatic sleep staging. They mainly rely on the assumption that training and testing data are drawn from the same distribution which may not hold in real-world scenarios. Unsupervised domain adaption (UDA) has been recently developed to handle this domain shift problem. However, previous UDA methods applied for sleep staging has two main limitations. First, they rely on a totally shared model for the domain alignment, which may lose the domain-specific information during feature extraction. Second, they only align the source and target distributions globally without considering the class information in the target domain, which hinders the classification performance of the model. In this work, we propose a novel adversarial learning framework to tackle the domain shift problem in the unlabeled target domain. First, we develop unshared attention mechanisms to preserve the domain-specific features in the source and target domains. Second, we design a self-training strategy to align the fine-grained class distributions for the source and target domains via target domain pseudo labels. We also propose dual distinct classifiers to increase the robustness and quality of the pseudo labels. The experimental results on six cross-domain scenarios validate the efficacy of our proposed framework for sleep staging and its advantage over state-of-the-art UDA methods.

研究动机与目标

• 解决当训练数据与测试数据来自不同分布时，在基于EEG的睡眠阶段分类中出现的域偏移问题。
• 克服现有无监督域自适应（UDA）方法中使用共享模型与全局分布对齐所带来的局限性。
• 通过在源域和目标域中分别采用非共享注意力机制，保留域特定特征。
• 通过使用伪标签对目标域中的类别级分布进行对齐，提升分类性能。
• 通过在自训练框架中引入两个独立分类器，提升伪标签的质量。

提出的方法

• 引入非共享注意力机制，分别学习源域和目标域中的域特定表示，以保留独特的特征模式。
• 采用自训练策略，使模型为未标注的目标域数据生成伪标签。
• 使用两个不同的分类器预测伪标签，从而提高伪标签的鲁棒性与可靠性。
• 应用对抗性训练，实现源域与目标域在类别层面的特征分布对齐。
• 通过分类损失、对抗性损失以及伪标签的一致性损失组合，端到端优化模型。
• 通过鼓励模型在源域与目标域中产生一致的预测，实现细粒度类别分布的对齐。

实验结果

研究问题

• RQ1 非共享注意力机制是否能提升跨域EEG睡眠分期中的域特定特征学习？
• RQ2 在存在域偏移的情况下，结合伪标签的自训练是否能提升分类性能？
• RQ3 双分类器能否提升无监督域自适应中伪标签的质量与鲁棒性？
• RQ4 与全局分布对齐相比，所提出方法在对齐类别级分布方面的有效性如何？
• RQ5 该框架在多个跨域睡眠分期场景中是否优于最先进SOTA UDA方法？

主要发现

• 所提出方法在六个跨域EEG睡眠分期场景中均取得了最先进性能。
• 采用非共享注意力机制显著提升了域特定特征的保留能力，增强了模型泛化性能。
• 结合双分类器的自训练策略显著提升了伪标签质量，减少了噪声预测。
• 细粒度类别分布对齐相比全局分布对齐，带来了更高的分类准确率。
• 模型在不同受试者与设备域的睡眠分期任务中表现出强鲁棒性与一致性。
• 定量结果表明，在所有六个评估的跨域设置中，该方法均持续优于现有SOTA UDA方法。