[논문 리뷰] Development of Interpretable Machine Learning Models to Detect Arrhythmia based on ECG Data

Shourya Verma|arXiv (Cornell University)|2022. 05. 05.

ECG Monitoring and Analysis인용 수 6

한 줄 요약

이 논문은 MIT-BIH 심 arrhythmia 데이터셋의 ECG 데이터를 사용하여 해석 가능한 딥러닝 모델—CNN과 LSTM—을 개발하여 심장 부정맥을 높은 정확도로 탐지한다. 다양한 해석 가능성 기법을 평가한 결과, 기울기 가중 클래스 활성화 맵핑(Grad-CAM)이 局소 해석 가능성에서 가장 효과적이었으며, 분류 결정의 핵심 특징으로 QRS 복합파를 일관되게 강조하였다.

ABSTRACT

The analysis of electrocardiogram (ECG) signals can be time consuming as it is performed manually by cardiologists. Therefore, automation through machine learning (ML) classification is being increasingly proposed which would allow ML models to learn the features of a heartbeat and detect abnormalities. The lack of interpretability hinders the application of Deep Learning in healthcare. Through interpretability of these models, we would understand how a machine learning algorithm makes its decisions and what patterns are being followed for classification. This thesis builds Convolutional Neural Network (CNN) and Long Short-Term Memory (LSTM) classifiers based on state-of-the-art models and compares their performance and interpretability to shallow classifiers. Here, both global and local interpretability methods are exploited to understand the interaction between dependent and independent variables across the entire dataset and to examine model decisions in each sample, respectively. Partial Dependence Plots, Shapley Additive Explanations, Permutation Feature Importance, and Gradient Weighted Class Activation Maps (Grad-Cam) are the four interpretability techniques implemented on time-series ML models classifying ECG rhythms. In particular, we exploit Grad-Cam, which is a local interpretability technique and examine whether its interpretability varies between correctly and incorrectly classified ECG beats within each class. Furthermore, the classifiers are evaluated using K-Fold cross-validation and Leave Groups Out techniques, and we use non-parametric statistical testing to examine whether differences are significant. It was found that Grad-CAM was the most effective interpretability technique at explaining predictions of proposed CNN and LSTM models. We concluded that all high performing classifiers looked at the QRS complex of the ECG rhythm when making predictions.

연구 동기 및 목표

• ECG 데이터를 사용하여 높은 정확도를 가지며 해석 가능한 기계학습 모델을 개발하기 위해.
• 딥러닝 모델의 임상적 제약인 '블랙박스' 성격을 해소하기 위해 전역 및 국소 해석 가능성 기법을 통합하기 위해.
• 시계열 ECG 데이터에 대해 해석 가능성 기법—PDP, SHAP, PFI, Grad-CAM—의 효과성을 평가하고 비교하기 위해.
• 비모수적 통계 검정을 동반한 K-폴드 및 떠난 그룹들 교차검증을 통해 모델 성능을 검증하기 위해.
• 모델 결정이 ECG 형태학적 기준에 기반한 기존 의학 지식과 일치함을 확인하여 임상적 관련성을 확보하기 위해.

제안 방법

• MIT-BIH 심 arrhythmia 데이터셋의 단일 리드 ECG 베이트를 기반으로 컨volutional Neural Network(CNN) 및 Long Short-Term Memory(LSTM) 모델을 훈련시켰다.
• 차원 감소 및 해석 가능성 도구 호환성을 향상시키기 위해 ECG 베이트를 11개의 시간 창으로 분할하여 전처리를 수행했다.
• 네 가지 해석 가능성 기법을 적용: 부분 의존도 플롯(Partial Dependence Plots, PDP), 샤플리 추가 설명(Shapley Additive Explanations, SHAP), 순열 특성 중요도(Permutation Feature Importance, PFI), 기울기 가중 클래스 활성화 맵핑(Gradient-weighted Class Activation Mapping, Grad-CAM).
• 모델의 일반화 능력을 평가하기 위해 K-폴드 교차검증 및 떠난 그룹들(Leave Groups Out) 평가를 수행했다.
• 모델 간 성능 차이를 검증하기 위해 비모수적 통계 검정(예: 윌콕슨 부호순위 검정)을 수행했다.
• 각 ECG 베이트에 대한 모델 주의력 분석 및 올바르게 분류된 예측과 잘못된 예측 간 비교를 위해 Grad-CAM 히트맵을 시각화했다.

실험 결과

연구 질문

• RQ1 MIT-BIH 데이터셋의 ECG 베이트를 분류하는 데 있어 CNN, LSTM 또는 얕은 분류기 중 어떤 모델이 가장 높은 정확도를 달성하는가?
• RQ2 시계열 ECG 데이터에 대해 전역 해석 가능성 기법(PDP, SHAP, PFI)과 국소 기법(Grad-CAM)의 효과성은 어떻게 다른가?
• RQ3 각 부정맥 유형 내에서 올바르게 분류된 ECG 베이트와 잘못된 분류된 ECG 베이트 간 Grad-CAM 국소화 결과는 어떻게 다를까?
• RQ4 의료 지식에 따르면 모델이 분류 결정에 QRS 복합파에 얼마나 의존하는가?
• RQ5 Grad-CAM 및 PFI와 같은 해석 가능성 기법이 다양한 모델과 데이터 분할 간에 일관되고 임상적으로 의미 있는 패턴을 드러내는가?

주요 결과

• CNN 및 LSTM 모델은 K-폴드 교차검증에서 각각 94.1% 및 94.0%의 정확도를 기록했으며, 떠난 그룹들 검증에서는 각각 98.7% 및 97.0%의 정확도를 기록했다.
• Grad-CAM이 가장 효과적인 해석 가능성 기법이었으며, 명확하고 국소화된 주의 맵핑을 제공하여 항상 QRS 복합파를 주요 결정 특징으로 강조하였다.
• 모든 고성능 모델이 QRS 복합파에 주의를 기울이며, 부정맥 진단의 임상적 이해와 일치함을 확인하였다.
• PFI는 전역적이고 모델에 종속되지 않는 특성 중요도 정보를 제공했지만, 개별 베이트 또는 클래스 수준의 해석 가능성에 빈도가 떨어져 개인 베이트 분석에 한계가 있었다.
• SHAP는 높은 계산 비용으로 인해, PDP는 특히 고시간 해상도를 가진 시계열 데이터에 대해 정보량이 부족하여 효과적이지 않다는 점이 확인되어, 두 기법 모두 시계열 데이터에 대해 덜 효과적임을 발견했다.
• 본 연구는 해석 가능성 기법이 심전도 분류에서 딥러닝 모델을 효과적으로 투명화할 수 있음을 확인하였으며, 신뢰도 향상과 임상 적용 가능성 증대에 기여한다.