[논문 리뷰] Uncovering the structure of clinical EEG signals with self-supervised learning

Hubert Banville, Omar Chehab외 3명|arXiv (Cornell University)|2020. 07. 31.

EEG and Brain-Computer Interfaces참고 문헌 95인용 수 231

한 줄 요약

이 논문은 EEG에 대한 자기지도 학습(SSL)을 조사하고, 세 가지 프리텍스트 태스크(relative positioning, temporal shuffling, and contrastive predictive coding)을 도입하여 EEG 표현을 학습하며 수면 단계 분류와 병리 탐지에서 평가합니다. SSL 특성은 적은 라벨 환경에서 감독 기반 baselines를 능가하고 생리학적으로 의미 있는 구조를 드러냅니다.

ABSTRACT

Objective. Supervised learning paradigms are often limited by the amount of labeled data that is available. This phenomenon is particularly problematic in clinically-relevant data, such as electroencephalography (EEG), where labeling can be costly in terms of specialized expertise and human processing time. Consequently, deep learning architectures designed to learn on EEG data have yielded relatively shallow models and performances at best similar to those of traditional feature-based approaches. However, in most situations, unlabeled data is available in abundance. By extracting information from this unlabeled data, it might be possible to reach competitive performance with deep neural networks despite limited access to labels. Approach. We investigated self-supervised learning (SSL), a promising technique for discovering structure in unlabeled data, to learn representations of EEG signals. Specifically, we explored two tasks based on temporal context prediction as well as contrastive predictive coding on two clinically-relevant problems: EEG-based sleep staging and pathology detection. We conducted experiments on two large public datasets with thousands of recordings and performed baseline comparisons with purely supervised and hand-engineered approaches. Main results. Linear classifiers trained on SSL-learned features consistently outperformed purely supervised deep neural networks in low-labeled data regimes while reaching competitive performance when all labels were available. Additionally, the embeddings learned with each method revealed clear latent structures related to physiological and clinical phenomena, such as age effects. Significance. We demonstrate the benefit of self-supervised learning approaches on EEG data. Our results suggest that SSL may pave the way to a wider use of deep learning models on EEG data.

연구 동기 및 목표

• 임상 환경에서 EEG 라벨 데이터의 부족에 대한 해결책으로 SSL을 고안한다.
• 비라벨 데이터로부터 강건한 표현을 학습하기 위해 EEG에 특화된 세 가지 SSL 프리텍스트 태스크를 도입한다.
• 수면 단계 분류 및 병리 탐지에서 SSL 표현을 감독 학습 및 수작업 기반 기초 모델과 비교 평가한다.
• 학습된 임베딩이 생리학적 및 임상적으로 의미 있는 구조를 드러내는지 분석한다.

제안 방법

• EEG를 위한 세 가지 SSL 프리텍스트 태스크 정의: relative positioning(RP), temporal shuffling(TS), 및 contrastive predictive coding(CPC).
• EEG 창을 특징 공간으로 매핑하기 위해 엔드-투-엔드 학습 가능한 인코더 h_Θ를 사용하고, 대비 모듈 g_RP, g_TS 또는 매개변수화된 CPC 구성요소를 활용한다.
• RP/TS에는 이진 로지스틱 손실을, CPC에는 InfoNCE 손실을 사용하여 엔드투엔드로 학습하고, 다운스트림 선형 분류기나 로지스틱 회귀와 함께 학습한다.
• 임베더로서 두 EEG 아키텍처(StagerNet 및 ShallowNet)를 평가하고, CPC를 위한 GRU 기반 자기회귀 구성요소를 사용한다.
• SSL과 기초 baselines를 비교: 무작위 가중치, 합성곱 오토인코더, 순수하게 감독 모델, 수작업으로 설계된 특징들과의 비교.
• 수면 단계 분류(Physionet Challenge 2018) 및 병리 탐지(TUH Abnormal EEG) 실험을 수행한다.

실험 결과

연구 질문

• RQ1 어떤 SSL 태스크가 EEG 데이터의 관련 구조를 가장 잘 포착하는가?
• RQ2 하위 EEG 분류 작업에서 SSL 특징은 비감독 및 감독 기초치와 어떻게 비교되는가?
• RQ3 SSL로 학습된 임베딩이 생리학적 및 임상 현상(예: 연령 효과)과 관련된 어떤 특성을 드러내는가?

주요 결과

• SSL 특징은 라벨이 적은 데이터 환경에서 선형 분류기가 순수하게 감독된 네트워크를 능가하도록 한다.
• 모든 라벨이 사용 가능할 때 SSL 표현은 전체 라벨 감독과 경쟁력 있는 성능에 도달한다.
• SSL 방법의 임베딩은 연령 등 생리학적 및 임상 요인과 관련된 잠재 구조를 드러낸다.
• 임상적으로 관련된 두 가지 EEG 작업인 수면 단계 분류와 병리 탐지가 SSL로 인해 기초 접근법보다 이점을 얻는다.
• 본 연구는 SSL이 임상 맥락에서 EEG 데이터에 대한 딥러닝 활용성을 향상시킬 수 있음을 제시한다.