[논문 리뷰] Transfer Learning in ECG Diagnosis: Is It Effective?

Cuong V. Nguyen, Cuong Do|arXiv (Cornell University)|2024. 02. 03.

ECG Monitoring and Analysis인용 수 4

한 줄 요약

이 연구는 다양한 데이터셋과 딥러닝 아키텍처를 통해 다중 레이블 ECG 진단에서 전이 학습의 첫 번째 종합적인 실험 평가를 수행한다. 연구 결과, 소규모 데이터셋에서는 파인튜닝이 랜덤 초기화로 학습하는 것보다 일관되게 성능이 뛰어나지만, 대규모 데이터셋에서는 랜덤 초기화로 학습하는 것이 파인튜닝 성능을 따라잡을 수 있으며, 특히 CNN이 RNN보다 전이 학습과 훨씬 더 뛰어난 호환성을 보인다.

ABSTRACT

The adoption of deep learning in ECG diagnosis is often hindered by the scarcity of large, well-labeled datasets in real-world scenarios, leading to the use of transfer learning to leverage features learned from larger datasets. Yet the prevailing assumption that transfer learning consistently outperforms training from scratch has never been systematically validated. In this study, we conduct the first extensive empirical study on the effectiveness of transfer learning in multi-label ECG classification, by investigating comparing the fine-tuning performance with that of training from scratch, covering a variety of ECG datasets and deep neural networks. We confirm that fine-tuning is the preferable choice for small downstream datasets; however, when the dataset is sufficiently large, training from scratch can achieve comparable performance, albeit requiring a longer training time to catch up. Furthermore, we find that transfer learning exhibits better compatibility with convolutional neural networks than with recurrent neural networks, which are the two most prevalent architectures for time-series ECG applications. Our results underscore the importance of transfer learning in ECG diagnosis, yet depending on the amount of available data, researchers may opt not to use it, considering the non-negligible cost associated with pre-training.

연구 동기 및 목표

• 전이 학습이 랜덤 초기화로 학습하는 것보다 다중 레이블 ECG 진단에서 일관되게 성능을 향상시키는지 체계적으로 평가하는 것.
• 다중 레이블 ECG 분류에서 전이 학습의 효과성에 영향을 미치는 다운스트림 데이터셋 크기의 영향을 조사하는 것.
• ECG 적용 분야에서 전이 학습이 컨volutional 신경망(CNNs)과 비교해 반복 신경망(RNNs)과의 호환성은 어떠한지 비교하는 것.
• 전이 학습이 ECG 진단 과제에서 모델 수렴 속도를 가속화하는지 평가하는 것.
• 실제 ECG 진단 환경에서 전이 학습이 항상 성능 향상을 이끈다는 일반적인 가정을 도전하는 것.

제안 방법

• 다섯 개인 공개 ECG 데이터셋을 대상으로, 세 개의 CNN(ResNet1d18, ResNet1d34, ResNet1d101)과 세 개의 RNN(LSTM, Bi-LSTM, GRU)을 포함한 여섯 가지 딥 뉴럴 네트워크 아키텍처를 사용해 광범위한 실험을 수행했다.
• 세 개인 업스트림 데이터셋(PTB-XL, CPSC2018, Georgia)에서 사전 학습된 모델을 확보하고, 다섯 개인 다운스트림 데이터셋(PTB, Ribeiro 등)에서 파인튜닝하였다.
• F1-score 및 100개의 학습 에포크 동안의 수렴 속도 등 다양한 지표를 사용해 파인튜닝 성능와 랜덤 초기화로 학습한 성능를 비교했다.
• 2D 컨볼루션 네트워크를 위해 2D 표현 방식(예: 스펙트로그램, 스칼로그램)을, 1D 컨볼루션 네트워크와 RNN를 위해 1D 신호 처리 방식을 사용해 일관된 입력 처리를 확보했다.
• 다중 레이블 분류 지표를 사용해 성능을 평가하였으며, 모든 클래스와 개별 데이터셋에서의 F1-score에 중점을 두었다.
• 특히 파인튜닝된 모델와 랜덤 초기화된 모델를 비교하기 위해 100 에포크 동안의 수렴 패턴을 분석하여 학습 속도와 안정성을 평가했다.

Fig. 1 : Performance comparison of fine-tuning and training from scratch, with three upstream datasets, six models, and four downstream datasets. In each chart, six symbols depict the average $f_{1}$ -scores for the respective models, and the bar shows the mean average score across these six models.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 아키텍처에서 다중 레이블 ECG 분류에서 전이 학습이 일관되게 랜덤 초기화 학습보다 성능이 뛰어나게 되는가?
• RQ2 다운스트림 데이터셋 크기가 파인튜닝과 랜덤 초기화 학습 간 상대적 성능에 어떤 영향을 미치는가?
• RQ3 ECG 진단에서 전이 학습이 컨볼루션 신경망(CNNs)보다 반복 신경망(RNNs)과 더 효과적인가?
• RQ4 파인튜닝이 랜덤 초기화 학습보다 ECG 분류 과제에서 수렴 속도를 가속화하는가?
• RQ5 특히 다운스트림 데이터셋이 클 경우, 한 ECG 데이터셋에서 다른 데이터셋으로 사전 학습 지식을 전이하는 것이 성능 향상에 얼마나 기여하는가?

주요 결과

• 다운스트림 데이터셋이 작을 경우 파인튜닝이 랜덤 초기화 학습보다 유의미하게 성능이 뛰어나며, 데이터셋 크기가 증가함에 따라 성능 향상 폭은 점점 줄어든다.
• 충분히 큰 다운스트림 데이터셋(예: PTB-XL)에서는 랜덤 초기화로 학습하는 것이 파인튜닝 성능과 유사한 성능을 달성할 수 있으나, 수렴하기까지 더 오랜 학습 시간이 소요된다.
• 소규모 데이터셋에서는 파인튜닝이 약 30~35 에포크 정도 수렴 속도를 가속화하며, 랜덤 초기화보다 빠르게 최고 성능에 도달한다.
• 전이 학습은 CNN에 비해 RNN과 훨씬 더 낮은 호환성을 보이며, 모든 데이터셋에서 파인튜닝된 CNN가 랜덤 초기화된 모델보다 일관되게 뛰어난 성능을 보인다.
• RNN(LSTM, Bi-LSTM, GRU)는 불안정한 수렴 패턴을 보이며, 파인튜닝된 CNN보다 종종 성능이 열 劣하며, 전이 학습이 학습된 메모리 표현 방식의 데이터셋 간 불일치로 인해 거의나마 이점이 없다.
• RNN의 본질적인 설계—시계열 의존성을 위해 순차적 메모리를 사용하는 것—은 서로 다른 ECG 데이터셋 간 지식 전이를 효과적으로 하지 못하며, 특히 기울기 소실(Vanishing Gradient) 문제로 인해 더욱 악화된다.

Fig. 3 : Fine-tuning improvement of the three ResNets with varying downstream dataset size.