[論文レビュー] Contrast Everything: A Hierarchical Contrastive Framework for Medical Time-Series

Yihe Wang, Yu Han+2 more|arXiv (Cornell University)|Oct 21, 2023

Machine Learning in Healthcare被引用数 16

ひとこと要約

COMET は医療時系列データにおける自己教師ありの階層的コントラスト学習フレームワークであり、観察・サンプル・試行・患者レベルを活用してラベルが少ない状況でも頑健な表現を学習する。

ABSTRACT

Contrastive representation learning is crucial in medical time series analysis as it alleviates dependency on labor-intensive, domain-specific, and scarce expert annotations. However, existing contrastive learning methods primarily focus on one single data level, which fails to fully exploit the intricate nature of medical time series. To address this issue, we present COMET, an innovative hierarchical framework that leverages data consistencies at all inherent levels in medical time series. Our meticulously designed model systematically captures data consistency from four potential levels: observation, sample, trial, and patient levels. By developing contrastive loss at multiple levels, we can learn effective representations that preserve comprehensive data consistency, maximizing information utilization in a self-supervised manner. We conduct experiments in the challenging patient-independent setting. We compare COMET against six baselines using three diverse datasets, which include ECG signals for myocardial infarction and EEG signals for Alzheimer's and Parkinson's diseases. The results demonstrate that COMET consistently outperforms all baselines, particularly in setup with 10% and 1% labeled data fractions across all datasets. These results underscore the significant impact of our framework in advancing contrastive representation learning techniques for medical time series. The source code is available at https://github.com/DL4mHealth/COMET.

研究の動機と目的

• 医療時系列分析におけるラベル不足へ対処する。
• 医療時系列の全階層構造（観察、サンプル、試行、患者）を活用する。
• 多層レベルのコントラスト損失と全体的で柔軟な訓練目的を開発する。
• EEG/ECGデータセット全体の患者依存性設定で下流タスクの改善を示す。

提案手法

• 対照学習のために4つのデータレベルを観察、サンプル、試行、患者として定義する。
• レベル固有の正例/負例ペアを持つ4つの対応するコントラストブロックを設計する。
• レベル固有の損失を導入する：L_O（観察）、L_S（サンプル）、L_R（試行）、L_P（患者）。
• それらを単一の損失 L = λ1 L_O + λ2 L_S + λ3 L_R + λ4 L_P として組み合わせ、調整可能な λ を用意する。
• 共有エンコーダ G と拡張戦略を用いてレベル間で正のペアを生成する。
• λ をゼロに設定することで任意のレベルを有効/無効化し、データセットに柔軟に適応できるようにする。

Figure 1 : Structure of medical time series. Medical time series commonly have four levels (coarse to fine): patient, trial, sample, and observation. An observation is a single value in univariate time series and a vector in multivariate time series.

実験結果

リサーチクエスチョン

• RQ1 階層的コントラスト学習フレームワークは医療時系列の全レベル（観察、サンプル、試行、患者）を自己-supervised事前学習に効果的に活用できるか？
• RQ2 COMET はラベルデータが限られた場合に下流のパフォーマンスを改善するか，異なる病気やモダリティ（EEG/ECG）を跨いで？
• RQ3 観察レベルおよびサンプルレベルのプライマリと上位レベル（試行/患者）の一貫性が表現学習においてどのように相互作用するか？
• RQ4 患者独立の評価は実行可能かつ有益で、被験者間の頑健性を検証するのに有用か？

主な発見

• COMET は患者独立設定で6つのベースラインを常に上回る。
• EEGベースのアルツハイマー病検出で、COMET は 10% および 1% のラベルデータで SOTA ベースラインより F1 スコアをそれぞれ 14% および 13% 高く達成。
• 心筋梗塞検出（ECG）で、COMET は 10% および 1% ラベルで SOTA をそれぞれ 0.17% と 2.66% の F1 で上回る。
• EEGベースのパーキンソン病診断で、COMET は 10% および 1% ラベルでそれぞれ F1 スコアを 2% および 8% 上回る。
• 限られたラベルでの完全微調整（10% および 1%）において、複数のデータセットで BEST ベースラインを大幅に上回る。
• COMET は多様な医療時系列タスクを横断して、階層的で自己教師あり事前学習戦略の安定性と効果を示す。

Figure 2 : Overview of COMET approach. Our COMET model consists of four contrastive blocks, each illustrating the formulation of positive pairs and negative pairs at different data levels. In the observation-level contrastive, an observation $\bm{x}_{i,t}$ and its augmented view $\bm{\widetilde{x}}_