[논문 리뷰] ECGBERT: Understanding Hidden Language of ECGs with Self-Supervised Representation Learning

Seokmin Choi, Sajad Mousavi외 4명|arXiv (Cornell University)|2023. 06. 10.

ECG Monitoring and AnalysisMedicine인용 수 3

한 줄 요약

ECGBERT는 대량의 레이블이 없는 데이터를 활용해 심전도 신호의 '숨겨진 언어'를 해석할 수 있도록 BERT와 유사한 자기지도 학습 표현 학습 프레임워크를 제안한다. 원시 심전도 신호에서 사전 훈련하고 최소한의 레이블 데이터로 미세조정함으로써, 심방세동 탐지, 심박수 분류, 수면 무호흡증 탐지, 사용자 인증 등 다양한 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In the medical field, current ECG signal analysis approaches rely on supervised deep neural networks trained for specific tasks that require substantial amounts of labeled data. However, our paper introduces ECGBERT, a self-supervised representation learning approach that unlocks the underlying language of ECGs. By unsupervised pre-training of the model, we mitigate challenges posed by the lack of well-labeled and curated medical data. ECGBERT, inspired by advances in the area of natural language processing and large language models, can be fine-tuned with minimal additional layers for various ECG-based problems. Through four tasks, including Atrial Fibrillation arrhythmia detection, heartbeat classification, sleep apnea detection, and user authentication, we demonstrate ECGBERT's potential to achieve state-of-the-art results on a wide variety of tasks.

연구 동기 및 목표

• 의료 AI 분야에서 레이블이 부족한 심전도 데이터 문제를 해결하기 위해 대규모 레이블이 없는 심전도 신호를 활용하고자 한다.
• 작업에 특화된 데이터나 수작업 특징 추출에 의존도를 줄이기 위해 보편적이고 이식 가능한 심전도 분석을 위한 딥 러닝 모델을 개발하고자 한다.
• 심전도 신호가 자연어와 유사한 '언어'로 간주될 수 있는지 탐색하고, 대규모 언어 모델 기법의 적용 가능성을 검토하고자 한다.
• 단일 사전 훈련된 모델이 다양한 후행 심전도 기반 의료 작업에 걸쳐 유연성과 강건성을 보여주는지 검증하고자 한다.
• 의료 AI의 책임성 향상을 위해 재현 가능하고 투명한, 블랙박스가 아닌 심전도 표현 학습 프레임워크를 구축하고자 한다.

제안 방법

• ECGBERT는 심전도 파형을 시퀀스 내 '토큰'으로 간주함으로써 BERT 트랜스포머 아키텍처를 심전도 신호에 적응시킨다. 이를 통해 이방향적 맥락 학습이 가능해진다.
• 모델은 두 단계 훈련 과정을 사용한다. 먼저, 전용 웨이브 세그멘테이션 모듈을 통해 심전도 신호가 R파와 QRS 복합체로 세분화되고, 이로 인해 토큰 시퀀스가 형성된다.
• 사전 훈련 단계에서는 마스킹된 오토에인코더 목적함수를 적용한다. 임의로 15%의 심전도 토큰을 마스킹하고, 모델이 이를 재구성하도록 훈련함으로써 일반적인 심전도 패턴을 학습한다.
• 사전 훈련된 ECGBERT 인코더는 후행 작업(예: 부정맥 탐지 또는 사용자 식별)을 위해 최소한의 추가 레이어(예: 두 개의 완전 연결 레이어)를 추가하여 미세조정된다.
• 프레임워크는 원칙적으로 多리드 입력을 지원하지만, 현재 실험은 데이터 가용성 제약으로 인해 오직 리드-II 심전도만 사용한다.
• 마스킹된 재구성 작업을 통해 대비 학습 목적이 암묵적으로 통합되어, 심전도 형태의 분리 가능하고 의미 있는 표현을 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 심전도 신호는 자연어와 유사한 토큰의 시퀀스로 효과적으로 모델링될 수 있는가? 이는 대규모 언어 모델 기법의 적용 가능성을 의미하는가?
• RQ2 대규모 레이블이 없는 심전도 데이터에서 자기지도 사전 훈련을 통해 최소한의 레이블 데이터로도 후행 작업 성능을 크게 향상시킬 수 있는가?
• RQ3 단일 사전 훈련된 ECGBERT 모델이 부정맥 탐지, 수면 무호흡증 진단, 생체 인식 등 다양한 심전도 기반 작업에 일반화되는가?
• RQ4 레이블이 제한된 여러 심전도 작업에서 ECGBERT의 성능은 ResNet과 같은 지도 학습 기반 모델과 비교해 어떻게 되는가?
• RQ5 현재 프레임워크의 주요 한계점은 무엇인가? 특히 신호 품질, 다중 리드 지원, 세그멘테이션의 강건성 측면에서 살펴보자.

주요 결과

• 사용자 식별 작업에서 ECGBERT는 최소한의 레이블 데이터를 사용함에도 불구하고, ResNet 기준선(0.920)을 뛰어넘는 최신 기술 수준의 정확도 0.938을 달성했다.
• 심방세동 탐지 작업에서 ECGBERT는 F1-스코어 0.882를 기록하여 ResNet 기준선을 초월했으며, 이는 부정맥 분류에서 뛰어난 일반화 능력을 보여준다.
• 수면 무호흡증 탐지 작업에서는 ECGBERT가 민감도 0.831을 기록하여 ResNet 기준선(0.653)보다 유의미하게 높게 나타나, 긍정 케이스를 더 잘 탐지함을 시사한다.
• ECGBERT는 네 가지 다른 심전도 작업 전반에서 안정적이고 일관된 성능을 보이며, 보편적인 심전도 표현 모델로서의 이식 가능성과 강건성을 검증했다.
• 특히 부정맥 탐지와 같이 긍정 케이스를 놓치는 것이 임상적으로 치명적인 작업에서, 높은 민감도를 유감없이 보여주었다.
• Apnea 데이터셋에서 노이즈가 많은 신호와 10초 이하의 짧은 서브시퀀스 입력과 같은 도전 과제가 있었음에도 불구하고, ECGBERT는 전체 정확도 0.725를 기록하여 ResNet(0.709)보다 높은 성능 유지를 보이며 데이터 변동성에 대한 강건성을 입증했다.