[论文解读] ECGBERT: Understanding Hidden Language of ECGs with Self-Supervised Representation Learning

Seokmin Choi, Sajad Mousavi+4 more|arXiv (Cornell University)|Jun 10, 2023

ECG Monitoring and AnalysisMedicine被引用 3

一句话总结

ECGBERT 提出了一种受 BERT 启发的自监督表示学习框架，利用大规模未标注数据解锁心电图信号的‘隐含语言’。通过在原始心电图上进行预训练，并使用极少的标注数据进行微调，ECGBERT 在心房颤动检测、心搏分类、睡眠呼吸暂停检测和用户身份认证等多种任务中均实现了最先进性能。

ABSTRACT

In the medical field, current ECG signal analysis approaches rely on supervised deep neural networks trained for specific tasks that require substantial amounts of labeled data. However, our paper introduces ECGBERT, a self-supervised representation learning approach that unlocks the underlying language of ECGs. By unsupervised pre-training of the model, we mitigate challenges posed by the lack of well-labeled and curated medical data. ECGBERT, inspired by advances in the area of natural language processing and large language models, can be fine-tuned with minimal additional layers for various ECG-based problems. Through four tasks, including Atrial Fibrillation arrhythmia detection, heartbeat classification, sleep apnea detection, and user authentication, we demonstrate ECGBERT's potential to achieve state-of-the-art results on a wide variety of tasks.

研究动机与目标

• 为解决医疗人工智能中受限标注心电图数据的关键挑战，利用大量未标注心电图信号。
• 开发一种通用的、可迁移的深度学习模型用于心电图分析，以减少对特定任务数据和人工特征工程的依赖。
• 探索心电图信号是否可被解释为一种类似自然语言的‘语言’，从而能够应用大规模语言模型技术。
• 证明单一预训练模型在多种下游心电图相关医疗任务中的多功能性和鲁棒性。
• 建立一种可复现的、非黑箱的心电图表示学习框架，以增强医疗人工智能中的可问责性。

提出的方法

• ECGBERT 通过将分段的心电图波形视为序列中的‘标记’，将 BERT 变压器架构适配至心电图信号，实现双向上下文学习。
• 该模型采用两阶段训练流程：首先，使用专用的波形分割模块将心电图信号分割为 R 波峰和 QRS 复合波，形成标记序列。
• 在预训练阶段，应用掩码自编码器目标——随机掩码 15% 的心电图标记，并训练模型重建这些标记，以学习通用的心电图模式。
• 随后，将预训练的 ECGBERT 编码器通过添加极少的额外层（例如两个全连接层）进行微调，以完成特定下游任务，如心律失常检测或用户识别。
• 该框架原则上支持多导联输入，但当前实验仅因数据可用性限制使用了导联 II 的心电图。
• 通过掩码重建任务，隐式嵌入对比学习目标，促使模型学习解耦的、语义上有意义的心电图形态表示。

实验结果

研究问题

• RQ1 心电图信号能否被有效建模为类似于自然语言的标记序列，从而实现大规模语言模型技术的应用？
• RQ2 在大规模未标注心电图数据上进行自监督预训练，是否能显著提升仅使用极少标注数据的下游任务性能？
• RQ3 单一预训练的 ECGBERT 模型是否能在多种心电图相关任务（如心律失常检测、睡眠呼吸暂停诊断和生物特征认证）中实现泛化？
• RQ4 在标注数据有限的情况下，ECGBERT 的性能与 ResNet 等监督基线模型相比如何？
• RQ5 当前框架的关键局限性是什么，特别是关于信号质量、多导联支持和分割鲁棒性方面？

主要发现

• 在用户身份识别任务中，ECGBERT 达到了 0.938 的最先进准确率，优于 ResNet 基线（0.920），尽管使用了极少的标注数据。
• 在心房颤动检测任务中，ECGBERT 的 F1 分数达到 0.882，超过 ResNet 基线，表明其在心律失常分类中具有更优的泛化能力。
• 在睡眠呼吸暂停检测任务中，ECGBERT 的敏感度达到 0.831，显著高于 ResNet 基线（0.653），表明其对阳性病例的检测能力更强。
• ECGBERT 在四项不同的心电图任务中均表现出稳定且一致的性能，验证了其作为通用心电图表示模型的可迁移性和鲁棒性。
• 该模型在对高敏感度要求的任务中表现尤为出色，例如心律失常检测，其中漏诊阳性病例具有临床关键性。
• 尽管在 Apnea 数据集中面临噪声信号和短 10 秒子序列输入的挑战，ECGBERT 仍保持了更高的总体准确率（0.725）优于 ResNet（0.709），表明其对数据变异具有较强鲁棒性。