[논문 리뷰] Self-supervised EEG Representation Learning for Automatic Sleep Staging

Chaoqi Yang, Cao Xiao외 2명|arXiv (Cornell University)|2021. 10. 27.

EEG and Brain-Computer Interfaces참고 문헌 34인용 수 20

한 줄 요약

이 논문은 자가지도 학습 기반의 표현 학습 모델인 ContraWR을 제안한다. 이 모델은 전역 데이터셋 통계를 활용해 다양한 수면 단계를 대비하여 표현을 학습함으로써, 광범위한 인간 레이블링 없이도 고품질의 특징을 학습할 수 있도록 한다. 이는 자가지도 학습 및 지도 학습 기반의 기준 모델들을 모두 초월하며, 특히 낮은 레이블 비율 환경에서 뛰어난 성능을 보이며, 레이블 데이터가 2% 미만일 때 4%의 정확도 향상을 기록한다.

ABSTRACT

Background: Deep learning models have shown great success in automating tasks in sleep medicine by learning from carefully annotated Electroencephalogram (EEG) data. However, effectively utilizing a large amount of raw EEG remains a challenge. Objective: In this paper, we aim to learn robust vector representations from massive unlabeled EEG signals, such that the learned vectorized features (1) are expressive enough to replace the raw signals in the sleep staging task; and (2) provide better predictive performance than supervised models in scenarios of fewer labels and noisy samples. Methods: We propose a self-supervised model, named Contrast with the World Representation (ContraWR), for EEG signal representation learning, which uses global statistics from the dataset to distinguish signals associated with different sleep stages. The ContraWR model is evaluated on three real-world EEG datasets that include both at-home and in-lab EEG recording settings. Results: ContraWR outperforms 4 recent self-supervised learning methods on the sleep staging task across 3 large EEG datasets. ContraWR also beats supervised learning when fewer training labels are available (e.g., 4% accuracy improvement when less than 2% data is labeled). Moreover, the model provides informative representative feature structures in 2D projection. Conclusions: We show that ContraWR is robust to noise and can provide high-quality EEG representations for downstream prediction tasks. The proposed model can be generalized to other unsupervised physiological signal learning tasks. Future directions include exploring task-specific data augmentations and combining self-supervised with supervised methods, building upon the initial success of self-supervised learning in this paper.

연구 동기 및 목표

• 대규모 레이블이 없는 EEG 데이터로부터 표현력 있고 일반화 가능한 표현을 학습하기 위해 자가지도 학습 기반의 수면 단계 자동 분류를 위한 목표를 설정한다.
• 낮은 데이터량 및 노이즈가 많은 레이블 환경에서 지도 학습의 한계를 극복하기 위한 목표를 설정한다.
• 인간 레이블 없이도 의미 있는 수면 단계의 차이를 포착할 수 있는 자가지도 학습 방법을 개발하기 위한 목표를 설정한다.
• 다양한 EEG 기록 환경(실내 및 가정 내)에서 모델의 강인성과 전이 가능성 평가를 위한 목표를 설정한다.
• 임상적 및 분석적 통찰을 위해 해석 가능한 저차원 특징 투영을 제공하기 위한 목표를 설정한다.

제안 방법

• ContraWR는 전체 EEG 데이터셋의 전역 통계(예: 평균, 분산)를 같은 수면 단계의 양성 샘플로 사용하는 대비 학습 프레임워크를 적용한다.
• 모델는 동일한 단계의 샘플을 전역 통계를 앵커로 삼아 끌어당기며, 다른 수면 단계의 임베딩을 대비함으로써 표현을 학습한다.
• 동일한 EEG 신호의 양성 뷰를 생성하기 위해 시간 마스킹 및 주파수 마스킹과 같은 데이터 증강 전략을 적용한다.
• 시아미즈 신경망 아키텍처를 사용하여 EEG 세그먼트를 잠재 벡터로 인코딩하고, 대비 손실을 최소화하여 내부 클래스 분산을 줄이고 클래스 간 분離를 극대화한다.
• 최종 표현은 전체 EEG 에포크의 평균 임베딩에서 유도되며, 최소한의 피팅 튜닝으로 후속 분류 작업에 활용 가능하다.

실험 결과

연구 질문

• RQ1 자가지도 학습 기반 표현 학습이 원시적이고 레이블이 없는 EEG 신호로부터 수면 단계 분류에 효과적으로 구분 가능한 특징을 추출할 수 있는가?
• RQ2 레이블이 소수만 존재할 경우 자가지도 학습 모델의 성능이 지도 학습 기반 기준 모델과 비교해 어떻게 되는가?
• RQ3 전체 데이터셋의 전역 통계 패턴이 EEG에 대한 대비 학습에서 효과적인 양성 샘플로 기능할 수 있는가?
• RQ4 학습된 표현이 다양한 EEG 기록 환경(실내 대비 가정 내)에서 일반화되는가?
• RQ5 학습된 특징이 의미 있는 방식으로 저차원 공간에 시각화되어 수면 단계의 구조를 반영할 수 있는가?

주요 결과

• ContraWR는 세 개의 대규모 EEG 데이터셋에서 최근 네 가지 자가지도 학습 방법보다 자동 수면 단계 분류 성능에서 뛰어난 성능을 기록한다.
• 레이블 데이터가 2% 미만일 때도 지도 학습 기반 기준 모델보다 4%의 정확도 향상을 기록하여 뛰어난 데이터 효율성을 입증한다.
• 2차원 t-SNE 투영에서 학습된 표현은 수면 단계의 명확하고 해석 가능한 군집을 보이며, 의미 있는 특징 구조를 반영하고 있음을 시사한다.
• ContraWR는 실내 및 가정 내에서 수집된 데이터의 노이즈와 변동성에도 강인함을 입증하였다.
• 모델는 후속 작업으로의 일반화 능력이 뛰어나, 비지도 생리 신호 학습 분야에서 광범위한 응용 가능성을 보여준다.