[논문 리뷰] ECGMamba: Towards Efficient ECG Classification with BiSSM

Yupeng Qiang, Xunde Dong외 4명|arXiv (Cornell University)|2024. 06. 14.

ECG Monitoring and AnalysisMedicine인용 수 3

한 줄 요약

ECGMamba는 트랜스포머의 이차적 복잡도 문제를 해결하기 위해 Mamba 아키텍처 기반의 이방향 상태공간모델(BiSSM)을 사용하는 새로운 효율적인 심전도(ECG) 분류 모델을 제안한다. 이 모델은 두 개의 공개 ECG 데이터셋에서 최신 기준 성능을 달성하면서도 뛰어난 추론 효율성을 보이며 정확성과 속도 사이의 균형 잡힌 성능을 입증한다.

ABSTRACT

Electrocardiogram (ECG) signal analysis represents a pivotal technique in the diagnosis of cardiovascular diseases. Although transformer-based models have made significant progress in ECG classification, they exhibit inefficiencies in the inference phase. The issue is primarily attributable to the secondary computational complexity of Transformer's self-attention mechanism. particularly when processing lengthy sequences. To address this issue, we propose a novel model, ECGMamba, which employs a bidirectional state-space model (BiSSM) to enhance classification efficiency. ECGMamba is based on the innovative Mamba-based block, which incorporates a range of time series modeling techniques to enhance performance while maintaining the efficiency of inference. The experimental results on two publicly available ECG datasets demonstrate that ECGMamba effectively balances the effectiveness and efficiency of classification, achieving competitive performance. This study not only contributes to the body of knowledge in the field of ECG classification but also provides a new research path for efficient and accurate ECG signal analysis. This is of guiding significance for the development of diagnostic models for cardiovascular diseases.

연구 동기 및 목표

• 트랜스포머 기반 모델의 심전도 분류에서 이차적 복잡도로 인한 높은 추론 비용 문제를 해결하기 위해.
• 이방향 상태공간모델(BiSSM)이 장기적인 ECG 신호 모델링에 있어 효율적이고 효과적인 잠재력을 탐색하기 위해.
• 긴 ECG 시퀀스에서 높은 성능을 유지하면서도 추론 속도를 희생하지 않는 경량이지만 강력한 아키텍처를 개발하기 위해.
• 더 나은 확장성과 계산 효율성을 갖춘 임상적 심전도 진단을 위한 새로운 효율적인 딥러닝 프레임워크를 제공하기 위해.

제안 방법

• ECGMamba는 Mamba 기반 블록을 핵심 구성 요소로 사용하며, 장기 시퀀스 모델링을 위한 선택적 스캔 메커니즘을 활용한다.
• 학습 안정성과 기울기 흐름 향상을 위해 잔차 연결과 레이어 정규화를 통합한다.
• 각 Mamba 블록 이후에 피드포워드 네트워크(FFN)를 적용하여 비선형 표현 학습 능력을 향상시킨다.
• Mamba 블록에 입력하기 전에 초기 특징 추출을 위해 컨볼루션 기반 ECG 인코더를 사용한다.
• 과거와 미래의 맥락을 모두 포착하기 위해 양방향 설계(BiSSM)를 사용한다.
• 표준 딥러닝 학습 프로토콜을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 BiSSM 기반 아키텍처가 높은 추론 비용을 유지하면서도 트랜스포머를 능가하는 성능을 낼 수 있는가?
• RQ2 잔차 연결과 정규화를 통합한 Mamba 블록이 ECG 분류 성능에 어떤 영향을 미치는가?
• RQ3 정확성과 효율성의 균형을 고려할 때 ECG 분류에 최적의 Mamba 레이어 수는 몇 개인가?
• RQ4 개별 구성 요소(예: ECG 인코더, 레이어 정규화, FFN)는 전체 모델 성능에 어떤 기여를 하는가?

주요 결과

• CPSC2018 데이터셋에서 ECGMamba는 AUC 0.9526과 F1 스코어 0.7909를 기록하여 기준 모델을 초월했다.
• PTB-XL 데이터셋에서는 AUC 0.9167과 F1 스코어 0.7528을 달성하여 뛰어난 일반화 능력을 입증했다.
• 제거 실험 결과, ECG 인코더, 레이어 정규화, FFN 각각이 모델 성능 향상에 뚜렷한 기여를 했다.
• 8개의 Mamba 레이어를 사용할 경우 최적의 성능을 기록했으며, CPSC2018에서 AUC 0.9539, PTB-XL에서 정확도 0.8881을 달성했다.
• 자기주의 주의(self-attention)의 이차적 복잡도와는 달리, Mamba 메커니즘의 선형 복잡도 덕분에 높은 추론 효율성을 유지했다.
• 결과적으로 BiSSM 기반 모델은 트랜스포머의 실질적인 대안으로서 ECG 분류에 효과적이고 효율적임을 시사한다.