[논문 리뷰] Adversarial Domain Adaptation with Self-Training for EEG-based Sleep Stage Classification.

Emadeldeen Eldele, Mohamed Ragab외 5명|arXiv (Cornell University)|2021. 07. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 4

한 줄 요약

이 논문은 EEG 기반 수면 단계 분류를 위한 적대적 도메인 적응 프레임워크를 제안하며, 비공유 어텐션 메커니즘을 사용해 도메인 특화 특징을 유지하고, 가짜 레이블을 활용한 이중 분류기 자기학습 전략을 통해 도메인 간 세분화된 클래스 분포를 정렬한다. 이 방법은 여섯 가지의 교차 도메인 수면 단계 분류 시나리오에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sleep staging is of great importance in the diagnosis and treatment of sleep disorders. Recently, numerous data driven deep learning models have been proposed for automatic sleep staging. They mainly rely on the assumption that training and testing data are drawn from the same distribution which may not hold in real-world scenarios. Unsupervised domain adaption (UDA) has been recently developed to handle this domain shift problem. However, previous UDA methods applied for sleep staging has two main limitations. First, they rely on a totally shared model for the domain alignment, which may lose the domain-specific information during feature extraction. Second, they only align the source and target distributions globally without considering the class information in the target domain, which hinders the classification performance of the model. In this work, we propose a novel adversarial learning framework to tackle the domain shift problem in the unlabeled target domain. First, we develop unshared attention mechanisms to preserve the domain-specific features in the source and target domains. Second, we design a self-training strategy to align the fine-grained class distributions for the source and target domains via target domain pseudo labels. We also propose dual distinct classifiers to increase the robustness and quality of the pseudo labels. The experimental results on six cross-domain scenarios validate the efficacy of our proposed framework for sleep staging and its advantage over state-of-the-art UDA methods.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 서로 다른 분포를 가질 때 EEG 기반 수면 단계 분류에서 발생하는 도메인 이동 문제를 해결하기 위해.
• 공유 모델과 전역 분포 정렬을 사용하는 기존 비지도 도메인 적응(UDA) 방법의 한계를 극복하기 위해.
• 원천 도메인과 타겟 도메인에서 별도로 도메인 특화 표현을 학습하는 비공유 어텐션 메커니즘을 도입하여 도메인 고유의 특징 패턴을 유지하기 위해.
• 가짜 레이블을 활용해 타겟 도메인의 클래스 수준 분포를 정렬하여 분류 성능을 향상시키기 위해.
• 자기학습 프레임워크 내에서 두 개의 별도 분류기를 통해 가짜 레이블 품질을 향상시키기 위해.

제안 방법

• 원천 도메인과 타겟 도메인에서 별도로 도메인 특화 표현을 학습하는 비공유 어텐션 메커니즘을 도입하여 고유한 특징 패턴을 유지한다.
• 모델이 타겟 도메인의 비라벨 데이터에 대해 가짜 레이블을 생성하는 자기학습 전략을 적용한다.
• 가짜 레이블의 정확성과 신뢰도를 높이기 위해 두 개의 별도 분류기를 사용한다.
• 원천 도메인과 타겟 도메인 간 특징 분포를 클래스 수준에서 정렬하기 위해 적대적 훈련을 적용한다.
• 분류 손실, 적대적 손실, 가짜 레이블에 대한 일致성 손실의 조합을 사용해 모델을 종합적으로 최적화한다.
• 원천 도메인과 타겟 도메인 간 일致한 예측을 유도함으로써 세분화된 클래스 분포를 정렬한다.

실험 결과

연구 질문

• RQ1 비공유 어텐션 메커니즘이 교차 도메인 EEG 기반 수면 단계 분류에서 도메인 특화 특징 학습을 향상시키는가?
• RQ2 도메인 이동이 존재할 때 가짜 레이블을 활용한 자기학습 전략이 분류 성능을 향상시키는가?
• RQ3 이중 분류기가 비지도 도메인 적응에서 가짜 레이블의 품질과 강건성을 향상시키는가?
• RQ4 전역 분포 정렬과 비교해 본다면, 제안된 방법은 클래스 수준의 분포 정렬에서 얼마나 효과적인가?
• RQ5 여러 교차 도메인 수면 단계 분류 시나리오에서 최신 기술 수준의 UDA 방법보다 우수한 성능을 내는가?

주요 결과

• 제안된 방법은 여섯 가지의 교차 도메인 EEG 수면 단계 분류 시나리오에서 최신 기술 수준의 성능을 달성한다.
• 비공유 어텐션 메커니즘의 사용은 도메인 특화 특징의 보존에 기여하여 모델의 일반화 능력을 향상시킨다.
• 이중 분류기를 사용한 자기학습 전략은 가짜 레이블의 품질을 크게 향상시켜 노이즈가 많은 예측을 줄인다.
• 세분화된 클래스 분포 정렬은 전역 분포 정렬 대비 더 높은 분류 정확도를 제공한다.
• 다양한 피험자 및 장치 도메인에서 수면 단계 분류에 있어 모델은 강건성과 일관성을 보인다.
• 정량적 결과는 모든 여섯 가지 평가된 교차 도메인 설정에서 기존 최신 기술 수준의 UDA 방법보다 일관된 성능 향상을 보여준다.