[논문 리뷰] CLOCS: Contrastive Learning of Cardiac Signals Across Space, Time, and Patients

Dani Kiyasseh, Tingting Zhu외 1명|arXiv (Cornell University)|2020. 05. 27.

Phonocardiography and Auscultation Techniques참고 문헌 28인용 수 30

한 줄 요약

CLOCS는 ECG 신호에 대한 환자 특화 대조 학습 방법의 가족으로, 시간적, 공간적, 환자 수준의 불변성을 활용하여 강 robust 표현을 학습하고, arrhythmia 분류에서 BYOL과 SimCLR을 능가하며, 데이터 효율적 학습을 가능하게 한다.

ABSTRACT

The healthcare industry generates troves of unlabelled physiological data. This data can be exploited via contrastive learning, a self-supervised pre-training method that encourages representations of instances to be similar to one another. We propose a family of contrastive learning methods, CLOCS, that encourages representations across space, time, extit{and} patients to be similar to one another. We show that CLOCS consistently outperforms the state-of-the-art methods, BYOL and SimCLR, when performing a linear evaluation of, and fine-tuning on, downstream tasks. We also show that CLOCS achieves strong generalization performance with only 25\% of labelled training data. Furthermore, our training procedure naturally generates patient-specific representations that can be used to quantify patient-similarity.

연구 동기 및 목표

• 헬스케어에서 풍부한 비표지 생리 데이터에 대한 자기지도 학습의 필요성을 자극한다.
• 시간적 및 공간적 ECG 불변성을 활용하는 환자 특화 대조 학습 방법을 제안한다.
• CLOCS가 다운스트림 부정맥 분류 성능 및 데이터 효율성을 향상시킨다는 것을 보인다.
• CLOCS가 환자 특이적 표현을 학습하여 환자 간 유사성 정량화에 적합하다는 것을 입증한다.

제안 방법

• 같은 환자로부터의 표현이 변환을 통해 맥락을 공유하도록 환자 특화 양성 쌍을 정의한다.
• 세 가지 변환 기반 코딩 체계를 도입한다: CMSC(시간적 구간), CMLC(다른 리드), CMSMLC(리드 간 시간적 구간).
• 대각항과 비대각항을 결합해 같은 환자 표현을 끌어들이고 다른 환자 표현은 멀리 떨어뜨리는 환자 특이적 잡음대응 추정(NCE) 손실을 구성한다.
• 다중 뷰 대조 프레임워크에서 온도 스케일링된 코사인 유사도 손실로 훈련하고, 변환된 쌍 및 연산자 조합을 모아 평가한다.
• 다운스트림 부정맥 과제에 대해 선형 평가 및 미세조정을 통해 four dataset(PhysioNet 2020, Chapman, PhysioNet 2017, Cardiology)으로 평가한다.
• CLOCS 변형들을 Random Init., Supervised, MT-SSL, BYOL, SimCLR과 비교하고, 섭동 및 임베딩 크기에 대한 강건성도 평가한다.

실험 결과

연구 질문

• RQ1 환자 수준의 맥락이 인스턴스 기반 맥락을 넘어 ECG 신호에 대해 대조 표현을 개선할 수 있는가?
• RQ2 ECG의 시간적 및 공간적 불변성이 다운스트림 부정맥 분류를 개선하는가?
• RQ3 제한된 라벨 데이터와 함께 다운스트림 작업으로의 환자 특이적 표현 전이가 가능한가?
• RQ4 CLOCS 변형들이 intra- 환자 대 inter- 환자 유사성을 반영하는 구별된 환자 특이 임베딩 기하를 생성하는가?

주요 결과

• CLOCS 변형은 데이터 세트 전반에 걸쳐 선형 평가 및 부정맥 분류의 미세조정에서 BYOL 및 SimCLR을 지속적으로 능가한다.
• CMSC 및 CMSMLC가 일반적으로 가장 강한 다운스트림 성능을 보이며, 기본값 대비 큰 이점을 제공한다(예: Chapman 데이터셋 선형 AUC: CMSC 0.896 vs. SimCLR 0.738).
• CLOCS로의 자기지도 사전학습은 데이터 효율성을 크게 향상시키며, 25% 라벨링 데이터만으로도 때로는 완전히 라벨링된 무초기화 모델과 동등하거나 더 뛰어나다.
• 임베딩 분석에서 CLOCS 하에서는 환자 내 거리 차이가 작고 분포가 더 잘 구분되어 환자 특이적 표현을 시사한다.
• 실험 전반에 걸쳐 CLOCS는 평균적으로 적어도 75%의 실행에서 SimCLR보다 우수하며, 다수의 설정에서 모든 12 리드를 사용할 때 CMSC가 모든 방법을 능가한다.
• 이 프레임워크는 다양한 섭동 하에서도 안정적인 성능을 지원하며, 이익은 섭동 설계 그 자체보다는 환자- 및 시간 학습 불변성에 기인한다는 점을 시사한다.