[论文解读] Transfer Learning in ECG Diagnosis: Is It Effective?

Cuong V. Nguyen, Cuong Do|arXiv (Cornell University)|Feb 3, 2024

ECG Monitoring and Analysis被引用 4

一句话总结

本研究对多种数据集和深度学习架构下的多标签心电图（ECG）诊断中的迁移学习进行了首次全面的实证评估。研究发现，尽管在小数据集上微调始终优于从零开始训练，但在大规模数据集上，从零开始训练的性能可与微调相媲美；此外，卷积神经网络（CNNs）在迁移学习方面显著优于循环神经网络（RNNs）。

ABSTRACT

The adoption of deep learning in ECG diagnosis is often hindered by the scarcity of large, well-labeled datasets in real-world scenarios, leading to the use of transfer learning to leverage features learned from larger datasets. Yet the prevailing assumption that transfer learning consistently outperforms training from scratch has never been systematically validated. In this study, we conduct the first extensive empirical study on the effectiveness of transfer learning in multi-label ECG classification, by investigating comparing the fine-tuning performance with that of training from scratch, covering a variety of ECG datasets and deep neural networks. We confirm that fine-tuning is the preferable choice for small downstream datasets; however, when the dataset is sufficiently large, training from scratch can achieve comparable performance, albeit requiring a longer training time to catch up. Furthermore, we find that transfer learning exhibits better compatibility with convolutional neural networks than with recurrent neural networks, which are the two most prevalent architectures for time-series ECG applications. Our results underscore the importance of transfer learning in ECG diagnosis, yet depending on the amount of available data, researchers may opt not to use it, considering the non-negligible cost associated with pre-training.

研究动机与目标

• 系统评估迁移学习是否在多标签心电图分类中始终优于从零开始训练。
• 探究下游数据集大小对迁移学习在多标签心电图分类中有效性的影响。
• 比较迁移学习在心电图应用中与卷积神经网络（CNNs）相比与循环神经网络（RNNs）的兼容性。
• 评估迁移学习是否能加速心电图诊断任务中的模型收敛。
• 挑战当前普遍认为迁移学习在真实世界心电图诊断场景中始终能提升性能的假设。

提出的方法

• 在五个公开的心电图数据集中，使用六种深度神经网络架构（三种CNNs：ResNet1d18、ResNet1d34、ResNet1d101；三种RNNs：LSTM、Bi-LSTM、GRU）进行了广泛的实验。
• 在三个上游数据集（PTB-XL、CPSC2018、Georgia）上预训练模型，并在五个下游数据集（包括PTB、Ribeiro等）上进行微调。
• 在多个指标（包括F1-score和100个训练周期内的收敛速度）下，将微调性能与从随机初始化开始训练（从零开始）的性能进行比较。
• 为确保一致的输入处理，2D卷积神经网络使用2D表示（如频谱图、小波图），而1D卷积神经网络和RNN则使用1D信号处理。
• 使用多标签分类指标评估模型性能，重点关注所有类别及各独立数据集上的F1-score。
• 分析100个训练周期内的收敛模式，以评估训练速度和稳定性，特别是对比微调模型与随机初始化模型。

Fig. 1 : Performance comparison of fine-tuning and training from scratch, with three upstream datasets, six models, and four downstream datasets. In each chart, six symbols depict the average $f_{1}$ -scores for the respective models, and the bar shows the mean average score across these six models.

实验结果

研究问题

• RQ1 在不同数据集和架构下，迁移学习是否在多标签心电图分类中始终优于从零开始训练？
• RQ2 下游数据集的大小如何影响微调与从零开始训练的相对性能？
• RQ3 在心电图诊断中，迁移学习是否对卷积神经网络（CNNs）比对循环神经网络（RNNs）更有效？
• RQ4 与从零开始训练相比，微调是否能加速心电图分类任务中的收敛？
• RQ5 从一个心电图数据集预训练的知识迁移到另一个数据集在多大程度上能提升性能，尤其是在下游数据集较大的情况下？

主要发现

• 当下游数据集较小时，微调显著优于从零开始训练，且随着数据集规模增大，性能增益逐渐减弱。
• 在足够大的下游数据集（如PTB-XL）上，从零开始训练可达到与微调相当的性能，但需要更长的训练时间才能收敛。
• 在小数据集上，微调可将收敛时间缩短约30–35个训练周期，使模型比从随机初始化更快达到最佳性能。
• 迁移学习与CNNs的兼容性显著优于与RNNs的兼容性，微调后的CNNs在所有数据集中始终优于其随机初始化的对应模型。
• RNNs（LSTM、Bi-LSTM、GRU）表现出不稳定的收敛模式，且通常表现不如微调后的CNNs，由于不同数据集间学习到的内存表征不兼容，迁移学习带来的收益微乎其微甚至没有。
• RNNs的固有设计——依赖顺序记忆来捕捉时间依赖性——导致在不同心电图数据集间知识迁移效果差，尤其在存在梯度消失等梯度问题时更为明显。

Fig. 3 : Fine-tuning improvement of the three ResNets with varying downstream dataset size.