[논문 리뷰] Lead-agnostic Self-supervised Learning for Local and Global Representations of Electrocardiogram

Jungwoo Oh, Hyunseung Chung외 3명|arXiv (Cornell University)|2022. 03. 14.

ECG Monitoring and Analysis인용 수 13

한 줄 요약

이 논문은 Wav2Vec 2.0와 CMSC 대비 학습을 조합하여 국소적이고 전반적인 표현을 동시에 학습하는, 리드에 종속되지 않는 자기지도 학습 전훈 방법을 제안한다. 랜덤 리드 마스킹(RLM)을 데이터 증강 전략으로 도입하여 다양한 리드 조합에 대한 강건성을 향상시켰으며, 여러 리드 구성에서 심부전성 부정맥 분류 및 환자 식별 작업에서 최신 기준 성능을 달성하였다.

ABSTRACT

In recent years, self-supervised learning methods have shown significant improvement for pre-training with unlabeled data and have proven helpful for electrocardiogram signals. However, most previous pre-training methods for electrocardiogram focused on capturing only global contextual representations. This inhibits the models from learning fruitful representation of electrocardiogram, which results in poor performance on downstream tasks. Additionally, they cannot fine-tune the model with an arbitrary set of electrocardiogram leads unless the models were pre-trained on the same set of leads. In this work, we propose an ECG pre-training method that learns both local and global contextual representations for better generalizability and performance on downstream tasks. In addition, we propose random lead masking as an ECG-specific augmentation method to make our proposed model robust to an arbitrary set of leads. Experimental results on two downstream tasks, cardiac arrhythmia classification and patient identification, show that our proposed approach outperforms other state-of-the-art methods.

연구 동기 및 목표

• 기존의 ECG 자기지도 학습 방법이 전반적 맥락에만 집중하고 리드 구성에 민감한 점을 해결하기 위해.
• 비라벨링된 ECG 데이터로부터 국소적 및 전반적 맥락 표현을 동시에 학습하여 모델 일반화 능력을 향상시키기 위해.
• 새로운 데이터 증강 전략인 랜덤 리드 마스킹(RLM)을 도입하여, 임의의 리드 조합으로의 테스트 및 미세조정이 가능하도록 하기 위해.
• 다양한 리드 조합에서 부정맥 분류 및 환자 식별과 같은 후행 작업에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 국소적 및 전반적 ECG 표현을 동시에 학습하기 위해 Wav2Vec 2.0와 CMSC 대비 학습 목표를 조합한다.
• 전훈 중에 랜덤 리드 마스킹(RLM)을 적용하여, 리드를 0.5의 확률로 무작위로 마스킹함으로써 불완전한 리드 세트를 시뮬레이션한다.
• 국소적 표현을 위해 마스킹 토큰 예측을 사용한다: 마스킹된 시간 스텝은 학습 가능한 마스킹 토큰으로 대체되고, 양자화된 특징을 사용해 예측된다.
• 국소적 표현의 평균 풀링을 통해 전반적 표현을 생성하여, 시간적으로 인접한 ECG 세그먼트 간의 일치도를 극대화한다.
• 국소 대비 학습 손실과 전반적 대비 학습 손실을 조합한 다중 대비 학습 손실을 사용하여 모델을 훈련시킨다.
• 대비 학습 이전에 원시 ECG 신호로부터 계층적 특징을 추출하기 위해 컨volutional 인코더를 사용한다.

실험 결과

연구 질문

• RQ1 국소적 및 전반적 ECG 표현을 동시에 학습하는 것이 전반적 맥락에만 집중하는 모델보다 후행 작업 성능을 향상시키는가?
• RQ2 랜덤 리드 마스킹(RLM)이 임의의 리드 조합으로 미세조정할 때 모델의 강건성을 향상시키는가?
• RQ3 부정맥 분류 및 환자 식별 작업에서 제안된 방법이 최신 자기지도 학습 ECG 전훈 접근법보다 어떻게 비교되는가?
• RQ4 ECG 전용 증강 기법(예: 기저선 이동, 노이즈)을 RLM과 함께 사용하면 성능이 향상되는가?

주요 결과

• 제안된 방법인 W2V+CMSC+RLM는 모든 리드 조합에서 부정맥 분류 및 환자 식별 작업에서 모든 최신 기준 베이스라인을 능가한다.
• PTB-XL 데이터셋에서 W2V+CMSC+RLM는 부정맥 분류 작업에서 매크로 F1 스코어 0.842를 기록하여 다음으로 우수한 방법보다 2.1% 높았다.
• 환자 식별 작업에서는 12-리드 설정에서 AUC 0.968을 달성하여 이전 방법들보다 뚜렷이 뛰어났다.
• 랜덤 리드 마스킹(RLM)은 국소적 맥락이 필요한 분류 작업에서 일관되게 성능을 향상시켰지만, 국소 표현 학습 강화로 인해 식별 작업에서는 약간의 성능 저하가 발생했다.
• CMSC+RLM는 CMSC 단독 대비 극적으로 향상된 성능을 보였으며, 이는 RLM이 환자 특이적 표현 학습 능력을 향상시킨다는 것을 시사한다.
• RLM와 함께 ECG 전용 증강 기법(예: 기저선 이동)을 추가하면 성능이 악화되었으며, 이는 RLM 단독으로도 실세계 환경에서의 강건성 확보에 더 효과적임을 시사한다.