[논문 리뷰] Improving self-supervised pretraining models for epileptic seizure detection from EEG data

Sudip Das, Pankaj Pandey외 1명|arXiv (Cornell University)|2022. 06. 28.

EEG and Brain-Computer Interfaces인용 수 11

한 줄 요약

이 논문은 거리 기반 및 상관 기반 그래프를 활용해 사전 학습 과제를 생성함으로써, 확산 컨volutional 순환 신경망(DCRNN)에 자기지도 사전학습을 적용하여 뇌전도(EEG) 데이터로부터 간질 발작 탐지 성능을 향상시킨다. 이 방법은 최신 기술 대비 AUROC를 1.56% 향상시키며, 상관 기반 그래프보다 거리 기반 그래프가 더 안정적이고 정확한 결과를 도출한다.

ABSTRACT

There is abundant medical data on the internet, most of which are unlabeled. Traditional supervised learning algorithms are often limited by the amount of labeled data, especially in the medical domain, where labeling is costly in terms of human processing and specialized experts needed to label them. They are also prone to human error and biased as a select few expert annotators label them. These issues are mitigated by Self-supervision, where we generate pseudo-labels from unlabelled data by seeing the data itself. This paper presents various self-supervision strategies to enhance the performance of a time-series based Diffusion convolution recurrent neural network (DCRNN) model. The learned weights in the self-supervision pretraining phase can be transferred to the supervised training phase to boost the model's prediction capability. Our techniques are tested on an extension of a Diffusion Convolutional Recurrent Neural network (DCRNN) model, an RNN with graph diffusion convolutions, which models the spatiotemporal dependencies present in EEG signals. When the learned weights from the pretraining stage are transferred to a DCRNN model to determine whether an EEG time window has a characteristic seizure signal associated with it, our method yields an AUROC score $1.56\%$ than the current state-of-the-art models on the TUH EEG seizure corpus.

연구 동기 및 목표

• 간질 진단에서 레이블이 부여된 EEG 데이터의 부족 문제를 해결하기 위해 풍부한 레이블이 없는 의료 데이터를 활용한다.
• 자기지도 사전학습을 통해 감독 학습 기반 DCRNN 모델의 간질 발작 탐지 성능을 향상시킨다.
• 거리 기반 및 상관 기반 그래프 구조의 차이가 자기지도 사전학습의 효율성에 미치는 영향을 평가한다.
• 시간 시리즈 EEG 데이터를 위한 사전 과제 최적화를 통해 모델의 변동성을 줄이고 일반화 능력을 향상시킨다.
• 다른 시간 시리즈 의료 신호에 적용 가능한 강력하고 이식 가능한 자기지도 사전학습 프레임워크를 구축한다.

제안 방법

• TUH EEG 간질 코퍼스의 레이블이 없는 EEG 세그먼트에서 자기지도 사전학습 과제를 사용해 DCRNN 인코더를 사전학습한다.
• 현재 12초 입력에서 향후 12초 EEG 윈도우를 예측하는 마스크된 예측 과제를 사용한다.
• EEG 전극 간 유클리드 거리(거리 기반)와 상관 기반 기능적 연결성으로 공간 그래프를 구성한다.
• 사전학습된 인코더 가중치를 감독 학습 기반 DCRNN 분류기로 이관하여 간질 발작 탐지에 활용한다.
• 단일 NVIDIA RTX 5000 GPU에서 배치 크기 1500으로 표준 하이퍼파라미터를 활용해 학습한다.
• AUROC를 사용하여 성능을 평가하며, 각 전략에 대해 5회 독립적인 실행을 통해 통계적 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 자기지도 사전학습이 EEG 데이터로부터 간질 발작을 탐지하는 DCRNN 모델의 성능 향상에 기여할 수 있는가?
• RQ2 거리 기반과 상관 기반의 서로 다른 그래프 구축 방법이 EEG 시간 시리즈 모델링에서 자기지도 사전학습의 효과성에 미치는 영향은 어떠한가?
• RQ3 레이블이 없는 EEG 데이터에서의 사전학습이 하류 간질 분류 작업에서 모델의 변동성 감소와 일반화 능력 향상에 기여하는가?
• RQ4 추가 레이블이 없는 데이터가 필요 없이 자기지도 학습이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 다양한 사전 과제와 그래프 유형이 모델의 강건성과 AUROC 성능에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• 제안된 자기지도 사전학습 전략은 TUH EEG 간질 코퍼스에서 이전 최고 성능 대비 AUROC를 1.56% 향상시켰다.
• 거리 기반 그래프가 상관 기반 그래프보다 일관되게 뛰어난 성능을 보였으며, 런에 걸쳐 더 높은 AUROC와 낮은 표준편차를 기록했다.
• 거리 기반 랜덤 샘플링 전략이 테스트한 5개의 자기지도 사전학습 방법 중에서 가장 높은 성능을 기록했다.
• 상관 기반 모델은 높은 변동성과 낮은 성능을 보였으며, 손실 함수가 더 빨리 수렴했지만 더 높은 값에서 수렴하여 조기 정지가 발생하고 최적의 결과를 도출하지 못했다.
• 사전학습 단계는 모델 일반화 능력을 크게 향상시켰으며, 하류 학습 파이프라인에 거의 변화가 없었다.
• 결과는 재현 가능했으며, 두 전략을 두 그래프 유형에서 각각 재실행한 결과 오차 범위 내에서 일치했다.