[논문 리뷰] Frozen Language Model Helps ECG Zero-Shot Learning

Jun Li, Che Liu외 3명|arXiv (Cornell University)|2023. 03. 22.

ECG Monitoring and Analysis인용 수 9

한 줄 요약

METS는 고정된 대형 언어 모델을 사용하여 ECG-텍스트 페어 데이터로 ECG 자기지도 사전 학습을 이끌고, 주석 데이터 없이 제로샷 ECG 분류를 가능하게 하며 성능을 향상시킵니다.

ABSTRACT

The electrocardiogram (ECG) is one of the most commonly used non-invasive, convenient medical monitoring tools that assist in the clinical diagnosis of heart diseases. Recently, deep learning (DL) techniques, particularly self-supervised learning (SSL), have demonstrated great potential in the classification of ECG. SSL pre-training has achieved competitive performance with only a small amount of annotated data after fine-tuning. However, current SSL methods rely on the availability of annotated data and are unable to predict labels not existing in fine-tuning datasets. To address this challenge, we propose Multimodal ECG-Text Self-supervised pre-training (METS), the first work to utilize the auto-generated clinical reports to guide ECG SSL pre-training. We use a trainable ECG encoder and a frozen language model to embed paired ECG and automatically machine-generated clinical reports separately. The SSL aims to maximize the similarity between paired ECG and auto-generated report while minimize the similarity between ECG and other reports. In downstream classification tasks, METS achieves around 10% improvement in performance without using any annotated data via zero-shot classification, compared to other supervised and SSL baselines that rely on annotated data. Furthermore, METS achieves the highest recall and F1 scores on the MIT-BIH dataset, despite MIT-BIH containing different classes of ECG compared to the pre-trained dataset. The extensive experiments have demonstrated the advantages of using ECG-Text multimodal self-supervised learning in terms of generalizability, effectiveness, and efficiency.

연구 동기 및 목표

• 주석 데이터 없이 분류를 가능하게 하기 위한 ECG에 대한 제로샷 학습의 동기를 부여한다.
• 의료 지식을 ECG 표현에 주입하기 위해 다중모달 ECG-텍스트 설정을 활용한다.
• ECG 임베딩과 생성된 임상 보고서 간의 대조 학습 사전 학습 목표를 개발한다.
• 다중 ECG 작업(진단, 형태, 리듬)에 걸친 제로샷 분류 능력을 보여준다.
• MIT-BIH와 같은 외부 데이터셋에 대한 교차 데이터셋 일반화를 입증한다.

제안 방법

• 학습 가능한 ResNet1d-18 ECG 인코더를 사용한다.
• 쌍으로 된 ECG와 자동 생성된 보고서를 고정된 임상 언어 모델로 임베딩한다.
• ECG와 텍스트 임베딩을 공통 차원 공간으로 매핑하기 위해 공유 프로젝션 헤드를 사용한다.
• 다중모달 대조 손실을 최적화하여 실제 쌍의 ECG-텍스트 유사도를 최대화하고 다른 케이스의 유사도를 최소화한다.
• 완전한 문장 레이블 프롬프트로 언어 모델에 질의하고 ECG-텍스트 유사도를 측정하여 제로샷 분류를 수행한다.

실험 결과

연구 질문

• RQ1 다중모달 ECG-텍스트 자가지도 학습이 주석 데이터 없이 제로샷 분류를 가능하게 할 수 있는가?
• RQ2 ECG 인코더를 학습하는 동안 언어 모델을 고정하는 것이 임상 지식을 효과적으로 전달하는가?
• RQ3 제로샷 설정에서 METS가 PTB-XL과 MIT-BIH의 superclass, form, rhythm 작업에서 어떤 성능을 보이는가?
• RQ4 미세조정 없이 교차 데이터셋 전이에도 METS가 견고한가?

주요 결과

• METS는 주석 데이터에 의존하는 감독 및 SSL 기준선에 비해 제로샷 성능에서 약 10% 향상을 달성한다.
• PTB-XL superclass에서 METS는 0.842 정확도(0% 라벨링 데이터)와 0.694 정밀도, 0.626 재현율, 0.657 F1에 도달한다.
• PTB-XL form에서 METS는 0.734 정확도(0% 라벨링 데이터)와 0.537 정밀도, 0.503 재현율, 0.518 F1에 도달한다.
• PTB-XL rhythm에서 METS는 0.746 정확도(0% 라벨링 데이터)와 0.576 정밀도, 0.612 재현율, 0.593 F1에 도달한다.
• MIT-BIH에서 METS는 0.794 정확도(0% 라벨링 데이터)와 0.680 정밀도, 0.735 재현율, 0.706 F1에 도달한다.
• METS는 다른 SSL 방법을 능가하고 교차 데이터셋 전이(MIT-BIH)에서도 감독 학습을 능가한다.