[논문 리뷰] CLOCS: Contrastive Learning of Cardiac Signals.

Dani Kiyasseh, Tingting Zhu외 1명|arXiv (Cornell University)|2020. 05. 27.

Phonocardiography and Auscultation Techniques참고 문헌 13인용 수 12

한 줄 요약

CLOCS는 시간, 리드, 환자 간의 임베딩을 정렬함으로써 표현을 학습하는 대비 학습 프레임워크를 제안한다. 이는 하류 작업에서 SimCLR를 크게 능가하며, 레이블이 부족한 데이터(25% 뿐)로도 뛰어난 성능을 달성하고, 환자 유사도 측정을 위한 환자별 표현 학습을 가능하게 한다.

ABSTRACT

The healthcare industry generates troves of unlabelled physiological data. This data can be exploited via contrastive learning, a self-supervised pre-training mechanism that encourages representations of instances to be similar to one another. We propose a family of contrastive learning methods, CLOCS, that encourages representations across time, leads, and patients to be similar to one another. We show that CLOCS consistently outperforms the state-of-the-art approach, SimCLR, on both linear evaluation and fine-tuning downstream tasks. We also show that CLOCS achieves strong generalization performance with only 25% of labelled training data. Furthermore, our training procedure naturally generates patient-specific representations that can be used to quantify patient-similarity.

연구 동기 및 목표

• 자율학습 대비 학습을 활용하여 레이블이 제한된 심장 신호 데이터 문제를 해결하기 위해.
• 시간적 세그먼트, 리드, 환자 간의 임베딩을 정렬함으로써 심전도 데이터의 표현 학습을 향상시키기 위해.
• 특히 훈련 세트의 25% 뿐인 최소한의 레이블 데이터로도 뛰어난 하류 성능을 달성하기 위해.
• 환자 유사도 측정이 가능한 환자별 표현을 생성하기 위해.

제안 방법

• CLOCS는 동일한 심전도 신호에서 유도된 시각의 양성 쌍 간 유사도를 증진시키는 대비 학습 목표를 사용한다.
• 시각은 동일한 심전도 신호를 시간(시간적 코어), 리드(채널 수준의 증강), 환자(교차 환자 시각)에 걸쳐 증강하여 생성된다.
• 모델은 양성 쌍(예: 동일한 신호의 서로 다른 증강)이 가까워지도록, 음성 쌍은 떨어지도록 하는 공유 표현 공간을 학습한다.
• 대비 손실는 훈련을 안정화시키기 위해 모멘터리 엔코더와 큐 기반 메모리 백업을 사용하여 최적화된다.
• 이 프레임워크는 심 arrhythmia 탐지와 같은 하류 작업에 대해 선형 평가 및 미세조정을 지원한다.
• 환자별 표현은 최종 레이어에서 추출되어 코사인 유사도를 통해 환자 유사도를 계산하는 데 사용된다.

실험 결과

연구 질문

• RQ1 시간, 리드, 환자 간의 대비 학습이 최신 기술 대비 심전도 신호의 표현 품질을 향상시키는가?
• RQ2 하류 미세조정에 사용되는 레이블 데이터가 25% 뿐일 때 CLOCS의 일반화 능력은 어떠한가?
• RQ3 학습된 표현이 임상적으로 의미 있는 방식으로 환자 유사도를 효과적으로 측정할 수 있는가?
• RQ4 CLOCS가 심전도 분류 작업에서 선형 평가 및 미세조정 설정에서 SimCLR를 모두 능가하는가?

주요 결과

• CLOCS는 여러 심전도 데이터셋에서 선형 평가 및 미세조정 하류 작업 전반에서 SimCLR를 일관되게 능가한다.
• CLOCS는 레이블이 있는 훈련 데이터의 25%만으로도 뛰어난 성능을 달성하여 데이터 부족 상황에서도 강력한 일반화 능력을 보여준다.
• 모델은 환자 유사도 측정이 가능한 환자별 표현을 생성하며, 이는 학습된 임베딩의 코사인 유사도를 통해 실현된다.
• 시간, 리드, 환자 간의 대비 학습 목표는 단일 모odal 또는 단일 환자 접근 방식보다 더 강력하고 일반화 가능한 표현을 이끌어낸다.