[論文レビュー] Frozen Language Model Helps ECG Zero-Shot Learning

Jun Li, Che Liu+3 more|arXiv (Cornell University)|Mar 22, 2023

ECG Monitoring and Analysis被引用数 9

ひとこと要約

METS は凍結させた大規模言語モデルを用いて、ペアの ECG-テキストデータを用いた心電図の自己教師付き事前学習をガイドし、ラベルなしデータでのゼロショット心電図分類を可能にし、性能を向上させる。

ABSTRACT

The electrocardiogram (ECG) is one of the most commonly used non-invasive, convenient medical monitoring tools that assist in the clinical diagnosis of heart diseases. Recently, deep learning (DL) techniques, particularly self-supervised learning (SSL), have demonstrated great potential in the classification of ECG. SSL pre-training has achieved competitive performance with only a small amount of annotated data after fine-tuning. However, current SSL methods rely on the availability of annotated data and are unable to predict labels not existing in fine-tuning datasets. To address this challenge, we propose Multimodal ECG-Text Self-supervised pre-training (METS), the first work to utilize the auto-generated clinical reports to guide ECG SSL pre-training. We use a trainable ECG encoder and a frozen language model to embed paired ECG and automatically machine-generated clinical reports separately. The SSL aims to maximize the similarity between paired ECG and auto-generated report while minimize the similarity between ECG and other reports. In downstream classification tasks, METS achieves around 10% improvement in performance without using any annotated data via zero-shot classification, compared to other supervised and SSL baselines that rely on annotated data. Furthermore, METS achieves the highest recall and F1 scores on the MIT-BIH dataset, despite MIT-BIH containing different classes of ECG compared to the pre-trained dataset. The extensive experiments have demonstrated the advantages of using ECG-Text multimodal self-supervised learning in terms of generalizability, effectiveness, and efficiency.

研究の動機と目的

• 注釈付きデータなしでの分類を可能にするため、ECG に対するゼロショット学習を動機づける。
• ECG-テキストのマルチモーダル設定を活用して、ECG 表現に医療知識を注入する。
• ECG 埋め込みと生成された臨床レポートとの間の対比的事前学習目的を開発する。
• 複数の ECG タスク（診断、形状、リズム）におけるゼロショット分類能力を示す。
• MIT-BIH のような外部データセットへのデータセット横断一般化を示す。

提案手法

• 学習可能な ResNet1d-18 ECG エンコーダを用いる。
• 凍結された臨床言語モデルを用いて、ペアの ECG と自動生成レポートを埋め込む。
• ECG とテキストの埋め込みを共有プロジェクションヘッドで共通の次元空間に射影する。
• 実ペアの ECG-テキスト類似度を最大化し、他のペアでは最小化するようマルチモーダル対比損失を最適化する。
• 完全文のラベルプロンプトで言語モデルを問合せ、ECG-テキスト類似度を測定してゼロショット分類を行う。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルECG-テキスト自己教師付き学習は、注釈データなしでゼロショット分類を可能にできるか？
• RQ2 ECGエンコーダを訓練する間に言語モデルを凍結することは、臨床知識を効果的に転移させるか？
• RQ3 ゼロショット設定でPTB-XLおよびMIT-BIHの超クラス/形状/リズムタスクにおけるMETSの性能はどうか？
• RQ4 微調整なしのデータセット跨ぎ転移に対してMETSは頑健か？

主な発見

• METS は、注釈データに依存する監視あり学習およびSSLベースラインに比べて、ゼロショット性能を約10%改善する。
• PTB-XL 超クラスで、METS は 0% ラベルデータで 0.842 accuracy、0.694 precision、0.626 recall、0.657 F1 を達成。
• PTB-XL 形状で、METS は 0% ラベルデータで 0.734 accuracy、0.537 precision、0.503 recall、0.518 F1 を達成。
• PTB-XL リズムで、METS は 0% ラベルデータで 0.746 accuracy、0.576 precision、0.612 recall、0.593 F1 を達成。
• MIT-BIH で、METS は 0% ラベルデータで 0.794 accuracy、0.680 precision、0.735 recall、0.706 F1 を達成。
• METS は他の SSL 手法を上回り、データセット横断転移（MIT-BIH）においても監視学習を超える。