[论文解读] Frozen Language Model Helps ECG Zero-Shot Learning

Jun Li, Che Liu+3 more|arXiv (Cornell University)|Mar 22, 2023

ECG Monitoring and Analysis被引用 9

一句话总结

METS 使用一个冻结的大语言模型来引导带配对 ECG 文本数据的 ECG 自监督预训练，使得零-shot ECG 分类并在没有标注数据的情况下提升性能。

ABSTRACT

The electrocardiogram (ECG) is one of the most commonly used non-invasive, convenient medical monitoring tools that assist in the clinical diagnosis of heart diseases. Recently, deep learning (DL) techniques, particularly self-supervised learning (SSL), have demonstrated great potential in the classification of ECG. SSL pre-training has achieved competitive performance with only a small amount of annotated data after fine-tuning. However, current SSL methods rely on the availability of annotated data and are unable to predict labels not existing in fine-tuning datasets. To address this challenge, we propose Multimodal ECG-Text Self-supervised pre-training (METS), the first work to utilize the auto-generated clinical reports to guide ECG SSL pre-training. We use a trainable ECG encoder and a frozen language model to embed paired ECG and automatically machine-generated clinical reports separately. The SSL aims to maximize the similarity between paired ECG and auto-generated report while minimize the similarity between ECG and other reports. In downstream classification tasks, METS achieves around 10% improvement in performance without using any annotated data via zero-shot classification, compared to other supervised and SSL baselines that rely on annotated data. Furthermore, METS achieves the highest recall and F1 scores on the MIT-BIH dataset, despite MIT-BIH containing different classes of ECG compared to the pre-trained dataset. The extensive experiments have demonstrated the advantages of using ECG-Text multimodal self-supervised learning in terms of generalizability, effectiveness, and efficiency.

研究动机与目标

• 推动 ECG 的零-shot 学习，以在无需标注数据的情况下实现分类。
• 利用多模态 ECG-文本设置，将医学知识注入 ECG 表征。
• 开发 ECG 嵌入与生成的临床报告之间的对比性预训练目标。
• 展示在多种 ECG 任务（诊断、形态、心律）上的零-shot 分类能力。
• 展示对外部数据集如 MIT-BIH 的跨数据集泛化能力。

提出的方法

• 使用可训练的 ResNet1d-18 ECG 编码器。
• 利用冻结的临床语言模型对配对的 ECG 与自动生成的报告进行嵌入。
• 使用共享投影头将 ECG 与文本嵌入投射到公共维度空间。
• 优化多模态对比损失，以最大化真实配对的 ECG-文本相似性，并将其他配对的相似性降至最低。
• 通过用完整句子标签提示查询语言模型并测量 ECG-文本相似性来执行零-shot 分类。

实验结果

研究问题

• RQ1 多模态 ECG-文本自监督学习是否能够在无需任何标注数据的情况下实现零-shot 分类？
• RQ2 在训练 ECG 编码器时冻结语言模型是否能有效传递临床知识？
• RQ3 在 PTB-XL 和 MIT-BIH 上，METS 在 superclass、form 和 rhythm 任务的零-shot 设置下表现如何？
• RQ4 METS 在不进行微调的情况下对跨数据集迁移是否鲁棒？

主要发现

• METS 在零-shot 性能方面相对于依赖标注数据的监督和 SSL 基线提升约 10% 。
• 在 PTB-XL superclass，METS 在零标注数据条件下达到 0.842 的准确率，0.694 精确率，0.626 召回率，0.657 F1。
• 在 PTB-XL form，METS 在零标注数据条件下达到 0.734 的准确率，0.537 精确率，0.503 召回率，0.518 F1。
• 在 PTB-XL rhythm，METS 在零标注数据条件下达到 0.746 的准确率，0.576 精确率，0.612 召回率，0.593 F1。
• 在 MIT-BIH，METS 在零标注数据条件下达到 0.794 的准确率，0.680 精确率，0.735 召回率，0.706 F1。
• METS 超越其他 SSL 方法，甚至在跨数据集迁移（MIT-BIH）中超过监督学习。