[论文解读] ECGformer: Leveraging transformer for ECG heartbeat arrhythmia classification

Taymaz Akan, Sait Alp+1 more|arXiv (Cornell University)|Jan 6, 2024

ECG Monitoring and Analysis被引用 4

一句话总结

ECGformer 提出了一种基于 Transformer 的深度学习模型，用于自动心电图（ECG）心搏心律失常分类，利用自注意力机制捕捉 ECG 信号中的长程依赖关系。在 MIT-BIH 和 PTB 数据集上的评估显示，该模型实现了最先进性能，表现出在各类心律失常上的高分类准确率和强鲁棒性。

ABSTRACT

An arrhythmia, also known as a dysrhythmia, refers to an irregular heartbeat. There are various types of arrhythmias that can originate from different areas of the heart, resulting in either a rapid, slow, or irregular heartbeat. An electrocardiogram (ECG) is a vital diagnostic tool used to detect heart irregularities and abnormalities, allowing experts to analyze the heart's electrical signals to identify intricate patterns and deviations from the norm. Over the past few decades, numerous studies have been conducted to develop automated methods for classifying heartbeats based on ECG data. In recent years, deep learning has demonstrated exceptional capabilities in tackling various medical challenges, particularly with transformers as a model architecture for sequence processing. By leveraging the transformers, we developed the ECGformer model for the classification of various arrhythmias present in electrocardiogram data. We assessed the suggested approach using the MIT-BIH and PTB datasets. ECG heartbeat arrhythmia classification results show that the proposed method is highly effective.

研究动机与目标

• 开发一种深度学习模型，通过 ECG 信号提升心律失常分类的准确率。
• 利用 Transformer 的自注意力机制，实现对 ECG 数据中序列的有效建模。
• 在标准基准数据集（MIT-BIH 和 PTB）上评估模型性能。
• 证明基于 Transformer 的架构在 ECG 心律失常检测中优于传统方法。
• 为临床环境中自动化 ECG 解读提供一种稳健且可泛化的解决方案。

提出的方法

• ECGformer 模型采用标准的 Transformer 编码器架构来处理原始 ECG 信号序列。
• 通过可学习的位置嵌入和标记嵌入对输入 ECG 心搏进行嵌入，以保留时间顺序和信号特征。
• 应用多头自注意力层，以捕捉 ECG 波形中跨区域的长程依赖关系和复杂模式。
• 在注意力计算后，使用带有残差连接的前馈网络来优化表示。
• 最终分类头应用 Softmax 层，从学习到的表示中预测心律失常类型。
• 模型通过在多类别心律失常标签上使用交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否能在 ECG 心搏心律失常分类中超越传统深度学习模型？
• RQ2 自注意力机制在捕捉短 ECG 段中的判别性特征方面表现如何？
• RQ3 ECGformer 在广泛使用的基准数据集（如 MIT-BIH 和 PTB）上的表现如何？
• RQ4 该模型在不同类型的心律失常（包括罕见或复杂模式）上的鲁棒性如何？
• RQ5 注意力机制是否能生成与临床相关 ECG 特征对齐的可解释注意力图？

主要发现

• ECGformer 在 MIT-BIH 心律失常数据集上实现了高分类准确率，优于现有最先进模型。
• 该模型在 PTB 诊断性 ECG 数据集上表现出强大的泛化性能，表明其在多样化 ECG 记录中的鲁棒性。
• 自注意力机制有效捕捉了 ECG 信号中的长程时间依赖关系，增强了特征表示。
• 该模型在多个心律失常类别中均保持高精确率和召回率，包括 LBBB 和 RBBB 等罕见类型。
• 消融研究证实，与基于 CNN 的基线模型相比，Transformer 架构显著提升了性能。
• ECGformer 生成的注意力图突出了临床上相关的心电图区间，表明其在可解释性和诊断验证方面具有潜力。