[論文レビュー] Transforming ECG Diagnosis:An In-depth Review of Transformer-based DeepLearning Models in Cardiovascular Disease Detection

Zibin Zhao|arXiv (Cornell University)|Jun 2, 2023

ECG Monitoring and Analysis被引用数 8

ひとこと要約

この論文はECG分類のためのTransformerベースの深層学習モデルを概観し、CNN–Transformerハイブリッドが標準ECGデータセットで高い精度を達成する方法を強調し、データ不均衡、解釈性、計算要求といった課題を論じる。

ABSTRACT

The emergence of deep learning has significantly enhanced the analysis of electrocardiograms (ECGs), a non-invasive method that is essential for assessing heart health. Despite the complexity of ECG interpretation, advanced deep learning models outperform traditional methods. However, the increasing complexity of ECG data and the need for real-time and accurate diagnosis necessitate exploring more robust architectures, such as transformers. Here, we present an in-depth review of transformer architectures that are applied to ECG classification. Originally developed for natural language processing, these models capture complex temporal relationships in ECG signals that other models might overlook. We conducted an extensive search of the latest transformer-based models and summarize them to discuss the advances and challenges in their application and suggest potential future improvements. This review serves as a valuable resource for researchers and practitioners and aims to shed light on this innovative application in ECG interpretation.

研究の動機と目的

• ECG分類と解釈への適用におけるTransformerベースモデルの現状を評価する。
• 静的（マルチリード）と動的（シングルリード）ECG transformerアプローチを比較する。
• 主要なアーキテクチャ動向（例：CNN–Transformerハイブリッド）と一般的なデータセットでの性能を特定する。
• データセットの不均衡、解釈性、計算資源といった課題を論じ、今後の方向性を提案する。

提案手法

• 最近の文献からTransformerベースのECGモデルをレビューし分類する。
• モデルアーキテクチャ、データタイプ（シングルリード対マルチリード；静的対動的）、および使用データセットを要約する。
• 代表的な結果を表にまとめ、研究間の精度とF1スコアを比較する。
• ECGデータに対するTransformerアーキテクチャの利点と制限を論じ、ベンチマーキングと解釈性の提言を行う。

実験結果

リサーチクエスチョン

• RQ1 ECG分類における prevailing transformer-based architectures は何で、CNNやRNNとどのように統合されるのか。
• RQ2 静的（マルチリード）対動的（シングルリード）データにおける transformer ベースECGモデルの性能はどのようか。
• RQ3 臨床現場での普及を妨げる主要な課題（データ不均衡、解釈性、計算）とは何か。
• RQ4 TransformerベースECGモデル間の公正な比較を可能にする標準化ベンチマークと評価指標は何か。

主な発見

著者	タイトル	分類タイプ	リード数	データベース	アーキテクチャ	意義	精度（平均）
Liu et al. [35]	CRT-Net: A generalized and scalable framework for the computer-aided diagnosis of Electrocardiogram signals	AAMI Standard	12	MIT-BIH CPSC 2018	CRT-Net (Conv, RNN, Transformer)	Bi-connectivity extracts ECG signals from 2D images; cloud-based system; multiple databases validation	Accuracy: 99.6% F1 score: 99.6%
Yang et al. [36]	Automated diagnosis of atrial fibrillation using ECG component-aware transformer	Binary classification of Atrial fibrillation	12	ShaoXing database	MLP + Component-aware Transformer (CAT)	Segment and tokenize the ECG features using 1D U-net as input	Accuracy: 98.23% F1 score: 85.13%
Chen at al. [37]	Detection and Classification of Cardiac Arrhythmia by a Challenge-Best Deep Learning Neural Network Model	8 classes Cardiac arrhythmia	12	CPSC 2018	CNN + BiGRU + Attention	Large ECG dataset; ensemble model for both 1-/12-leads ECG	Accuracy: 99.5% F1 score: 84.0%
Meng et al. [38]	Enhancing dynamic ECG heartbeat classification with lightweight transformer model	PVCs & SPBs	1	Self-collected dataset	CNN embedding + LightConv attention	Lightweight fussing transformer with ablation study; Noise removal	Accuracy: 99.32% F1 score: 93.63%
Yan et al. [39]	Fusing Transformer Model with Temporal Features for ECG Heartbeat Classification	AAMI (exclude class Q)	1	MIT-BIH	Fussing Transformer + RR interval features embedding	Encoder only; fusing handcrafted features with SMOTE; extensive validation	Accuracy: 99.62% F1 score: 94.56%
Hu et al. [40]	A transformer-based deep neural network for arrhythmia detection using continuous ECG signals	AAMI; 8 classes Arrhythmia	1	MIT-BIH arrhythmia; MIT-BIH Atrial fibrillation	CNN + Transformer	Two models on two databases; convert ECG into object detection task	Accuracy: 99.23% F1 score: 99.23% (highest class)
Bing et al. [41]	Electrocardiogram classification using TSST-based spectrogram and ConViT	AAMI	1	MIT-BIH	TSST + ConViT	Segmentation and time-reassigned synchrosqueezing transform ECG as model input	Accuracy: 99.5% F1 score: 94.0%
Le et al. [42]	Multi-module Recurrent Convolutional Neural Network with Transformer Encoder for ECG Arrhythmia Classification	AAMI	1	MIT-BIH Arrythmia	LSTM-Transformer	Multi-module fusion to enhance temporal dependencies between 1D segments and 2D spectrograms	Accuracy: 98.29% F1 score: 99.14%

• TransformerベースのECGモデルは標準ベンチマーク（例：MIT-BIH）で高精度とF1スコアを達成することが多く、いくつかの研究で精度は約99%に達する。
• CNNとトランスフォーマーを組み合わせたハイブリッドアーキテクチャは、ECG信号の局所的および長距離依存性を捕捉するのに一般的で有効。
• シングルリードの動的ECGアプローチは競争力のある性能を示せるが、動作アーチファクトやノイズの影響を受けやすい。
• データセットの不均衡と古いベンチマーク（例：MIT-BIH）の使用は、一般化と公正な比較に課題をもたらす。
• 解釈性は依然として懸念材料であり、Grad-CAMなどの可視化ツールの統合と臨床医による検証が推奨される。
• 本分野には、軽量設計対エンコーダ/デコーダ系など多様な設計と、時間領域・スペクトログラム・RR特徴量などの入力表現の差異が見られる。