[논문 리뷰] CLOCS: Contrastive Learning of Cardiac Signals Across Space, Time, and Patients

Kiyasseh, Dani, Zhu, Tingting외 1명|arXiv (Cornell University)|2020. 05. 27.

Phonocardiography and Auscultation Techniques인용 수 38

한 줄 요약

CLOCS는 ECG에 대한 환자 중심 대조학습을 도입하여 시간적, 공간적, 환자 수준의 불변성을 활용해 강건한 표현을 학습하고 BYOL 및 SimCLR을 능가하며 데이터 효율성이 뛰어납니다.

ABSTRACT

The healthcare industry generates troves of unlabelled physiological data. This data can be exploited via contrastive learning, a self-supervised pre-training method that encourages representations of instances to be similar to one another. We propose a family of contrastive learning methods, CLOCS, that encourages representations across space, time, \ extit{and} patients to be similar to one another. We show that CLOCS consistently outperforms the state-of-the-art methods, BYOL and SimCLR, when performing a linear evaluation of, and fine-tuning on, downstream tasks. We also show that CLOCS achieves strong generalization performance with only 25\\% of labelled training data. Furthermore, our training procedure naturally generates patient-specific representations that can be used to quantify patient-similarity.

연구 동기 및 목표

• 임상 환경에서 라벨이 희박한 대규모의 라벨 없는 ECG 데이터로부터 학습을 촉진한다.
• ECG 신호의 시간적 및 공간적 불변성을 활용하는 환자 특이적 대조학습 방법을 개발한다.
• CLOCS 방법이 부정맥 분류 과제에서 최첨단 자기지도 baselines를 능가함을 보여준다.
• 제한된 라벨 데이터로 데이터 효율적인 학습과 환자 특이적 표현의 출현을 시연한다.
• 학습된 표현의 일반화 및 데이터셋 간, 다운스트림 과제 간 전이 가능성을 탐구한다.

제안 방법

• 동일 인스턴스뿐만 아니라 변환 간에도 같은 환자로부터 긍정 쌍을 정의한다.
• 세 가지 변환 기반 코딩 스킴을 도입한다: Contrastive Multi-segment Coding (CMSC), Contrastive Multi-lead Coding (CMLC), 및 Contrastive Multi-segment Multi-lead Coding (CMSMLC).
• 환자 특이적 Noise Contrastive Estimation (NCE) 손실을 코사인 유사도와 온도 스케일링으로 사용하여 같은 환자 내에서의 일치를 최대화하고 환자 간 일치를 최소화한다.
• ECG 신호의 시간적 불변성(세그먼트 수준)과 공간적 불변성(리드 수준)을 활용하여 증강된 뷰를 생성한다.
• 다수의 ECG 데이터 세트에서 선형 평가 및 파인튜닝 프로토콜 하에서 평가한다(리드 수가 다른 4 리드 구성 및 12리드 구성을 포함).
• 랜덤 초기화(Random Init.), 지도학습(Supervised), MT-SSL, BYOL 및 SimCLR baselines 와 CLOCS를 비교한다.

실험 결과

연구 질문

• RQ1 인스턴스 수준 컨텍스트를 넘어서 환자 수준 컨텍스트가 ECG 신호의 대조 표현을 향상시킬 수 있는가?
• RQ2 ECG의 시간적 및 공간적 불변성이 환자 특이적 양성 쌍과 결합될 때 표현 학습을 공동으로 향상시키는가?
• RQ3 CMSC, CMLC 및 CMSMLC가 부정맥 분류 과제에서 표준 자기지도 baselines와 어떻게 비교되는가?
• RQ4 CLOCS가 데이터 효율적이어서 제한된 라벨 데이터로도 강한 다운스트림 성능을 가능하게 하는가?
• RQ5 학습된 표현이 데이터셋 간에 일반화되며 환자 중심 분석을 가능하게 하는가?

주요 결과

• CLOCS 변형은 선형 평가 및 부정맥 분류 과제에서 지속적으로 BYOL 및 SimCLR을 능가한다.
• CMSC는 강력한 선형 평가 성능(예: Chapman 데이터세트)을 달성하고 데이터세트 전반에 걸친 여러 Baseline 보다 우수하다.
• 라벨링된 데이터의 25%를 사용해도 CLOCS 표현은 경쟁력이 유지되어 강한 데이터 효율성을 시사한다.
• CMSC 및 CMSMLC는 SimCLR에 비해 더 분리 가능한 환자 특이적 표현을 생성하며, 환자 내/환자 간 거리 분석으로 이를 입증한다.
• 변조 연구 전반에서 CMSC가 SimCLR보다 우수한 성능을 유지하여, 이점이 변조 선택이 아닌 환자 수준의 공유 맥락에서 기인함을 시사한다.
• 대다수의 실험에서 모든 CLOCS 변형이 SimCLR을 능가하며, 12 리드를 사용할 때 CMSC가 선두를 차지한다.