[논문 리뷰] Contrast Everything: A Hierarchical Contrastive Framework for Medical Time-Series

Yihe Wang, Yu Han외 2명|arXiv (Cornell University)|2023. 10. 21.

Machine Learning in Healthcare인용 수 16

한 줄 요약

COMET은 관찰, 샘플, 시도, 환자 수준의 의학 시간 시계열에서 자가-지도형 계층적 대조 학습 프레임워크로, 특히 라벨이 부족한 상황에서도 강건한 표현을 학습합니다.

ABSTRACT

Contrastive representation learning is crucial in medical time series analysis as it alleviates dependency on labor-intensive, domain-specific, and scarce expert annotations. However, existing contrastive learning methods primarily focus on one single data level, which fails to fully exploit the intricate nature of medical time series. To address this issue, we present COMET, an innovative hierarchical framework that leverages data consistencies at all inherent levels in medical time series. Our meticulously designed model systematically captures data consistency from four potential levels: observation, sample, trial, and patient levels. By developing contrastive loss at multiple levels, we can learn effective representations that preserve comprehensive data consistency, maximizing information utilization in a self-supervised manner. We conduct experiments in the challenging patient-independent setting. We compare COMET against six baselines using three diverse datasets, which include ECG signals for myocardial infarction and EEG signals for Alzheimer's and Parkinson's diseases. The results demonstrate that COMET consistently outperforms all baselines, particularly in setup with 10% and 1% labeled data fractions across all datasets. These results underscore the significant impact of our framework in advancing contrastive representation learning techniques for medical time series. The source code is available at https://github.com/DL4mHealth/COMET.

연구 동기 및 목표

• 의학 시간 시계열 분석에서 라벨 부족 문제를 해결한다.
• 의학 시간 시계열의 전체 계층 구조(관찰, 샘플, 시도, 환자)를 활용한다.
• 다단계 대조 손실과 전체적으로 유연한 학습 목표를 개발한다.
• EEG/ECG 데이터셋에서 환자에 의존하지 않는 설정하에 하류 작업에서의 개선을 보여준다.

제안 방법

• 대조 학습을 위한 네 가지 데이터 레벨(관찰, 샘플, 시도, 환자)을 정의한다.
• 레벨별 양의/음의 쌍이 있는 네 가지 대응하는 대조 블록을 설계한다.
• 레벨별 손실 도입: L_O(관찰), L_S(샘플), L_R(시도), L_P(환자).
• 이를 하나의 손실 L = λ1 L_O + λ2 L_S + λ3 L_R + λ4 L_P 로 결합하되 λ를 조정 가능하게 한다.
• 공유 인코더 G와 증강 전략을 사용해 레벨 간의 양의 쌍을 생성한다.
• 어떤 레벨이든 λ를 0으로 설정해 활성화/비활성화하여 데이터셋에 유연하게 적응할 수 있게 한다.

Figure 1 : Structure of medical time series. Medical time series commonly have four levels (coarse to fine): patient, trial, sample, and observation. An observation is a single value in univariate time series and a vector in multivariate time series.

실험 결과

연구 질문

• RQ1 계층적 대조 프레임워크가 의학 시간 시계열의 모든 레벨(관찰, 샘플, 시도, 환자)을 자기지도 사전 학습에 효과적으로 활용할 수 있는가?
• RQ2 제한된 라벨 데이터에서도 다양한 질병과 모달리티(EEG/ECG)에 걸쳐 하류 성능이 개선되는가?
• RQ3 관찰-및 샘플 레벨의 프라이어리티가 상위 레벨(시도/환자)의 표현 학습 일관성과 어떻게 상호 작용하는가?
• RQ4 환자 독립적 평가가 가능하고 피험자 간 강건성을 검증하는 데 유익한가?

주요 결과

• COMET은 세 가지 데이터세트에서 환자 독립적 설정으로 일관되게 여섯 개의 베이스라인보다 우수했다.
• EEG 기반 알츠하이머 탐지에서, COMET은 10% 라벨 데이터에서 SOTA 베이스라인 대비 F1 점수 14%, 1% 라벨에서 13% 더 높은 F1을 달성한다.
• ECG를 이용한 심근경색 탐지에서, COMET은 10% 라벨에서 0.17%, 1% 라벨에서 2.66%의 F1로 SOTA를 상회한다.
• EEG 기반 파킨슨병 진단에서, COMET은 10% 라벨에서 F1 점수 2%, 1% 라벨에서 8% 더 높은 F1를 달성한다.
• 제한된 라벨(10% 및 1%)에서의 완전 파인튜닝으로도, COMET은 다수의 데이터셋에서 최고 베이스라인보다 상당한 마진으로 우수하다.
• COMET은 다양한 의학 시간 시계열 작업에 걸쳐 다단계 자기지도 사전 학습 전략의 안정성과 효과를 보여준다.

Figure 2 : Overview of COMET approach. Our COMET model consists of four contrastive blocks, each illustrating the formulation of positive pairs and negative pairs at different data levels. In the observation-level contrastive, an observation $\bm{x}_{i,t}$ and its augmented view $\bm{\widetilde{x}}_