[논문 리뷰] A Deep Bayesian Neural Network for Cardiac Arrhythmia Classification with Rejection from ECG Recordings

Wenrui Zhang, Xinxin Di외 4명|arXiv (Cornell University)|2022. 02. 26.

ECG Monitoring and Analysis인용 수 4

한 줄 요약

이 논문은 12 leads의 심 electrocardiogram(ECG)에서 심장 부정맥을 분류하면서 데이터 및 모델 불확실성의 조합 기반 예측 거부 기능을 제공하는 몬테카를로 드롭아웃을 적용한 딥 베이지안 신경망을 제안한다. 높은 불확실성을 가진 예측을 거부함으로써, 수용된 케이스에서 분류 정확도가 향상되며, 이는 불확실성 추정이 임상적 신뢰도를 향상시키고 ECG 해석 분야에서 딥 러닝의 더 안전한 구현을 지원함을 보여준다.

ABSTRACT

With the development of deep learning-based methods, automated classification of electrocardiograms (ECGs) has recently gained much attention. Although the effectiveness of deep neural networks has been encouraging, the lack of information given by the outputs restricts clinicians' reexamination. If the uncertainty estimation comes along with the classification results, cardiologists can pay more attention to "uncertain" cases. Our study aims to classify ECGs with rejection based on data uncertainty and model uncertainty. We perform experiments on a real-world 12-lead ECG dataset. First, we estimate uncertainties using the Monte Carlo dropout for each classification prediction, based on our Bayesian neural network. Then, we accept predictions with uncertainty under a given threshold and provide "uncertain" cases for clinicians. Furthermore, we perform a simulation experiment using varying thresholds. Finally, with the help of a clinician, we conduct case studies to explain the results of large uncertainties and incorrect predictions with small uncertainties. The results show that correct predictions are more likely to have smaller uncertainties, and the performance on accepted predictions improves as the accepting ratio decreases (i.e. more rejections). Case studies also help explain why rejection can improve the performance. Our study helps neural networks produce more accurate results and provide information on uncertainties to better assist clinicians in the diagnosis process. It can also enable deep-learning-based ECG interpretation in clinical implementation.

연구 동기 및 목표

• 딥 러닝 모델이 ECG 해석에서 예측에 대한 신뢰도 추정을 제공하지 못하는 임상적 한계를 해결하기 위해.
• 불확실성 추정을 통합함으로써 자동 ECG 분류의 진단 신뢰도를 향상시키기 위해.
• 불확실성이 높은 케이스를 자동 출력에서 제외함으로써 임상의가 고위험 또는 모호한 케이스에 집중할 수 있도록 예측 거부 기능을 제공하기 위해.
• 불확실성 기반 거부 전략이 전체 수용 대비 수용된 예측의 성능을 향상시키는지 평가하기 위해.
• 높은 불확실성과 임상적으로 도전적인 케이스(예: 레이블 불일치 또는 노이즈가 많은 신호) 간의 연관성을 연결함으로써 해석 가능성 제공하기 위해.

제안 방법

• 2018년 CPSC 챌린지의 실제 12-lead ECG 데이터셋에서 훈련된 61층의 딥 베이지안 컨볼루션 신경망을 사용한다.
• 추론 중 몬테카를로 드롭아웃을 적용하여 다중 전방 계산을 통해 모델 불확실성을 추정한다.
• 데이터 불확실성은 드롭아웃 샘플 간 예측 클래스 확률의 분산으로 추정한다.
• 각 예측에 대해 총 불확실성은 데이터 불확실성과 모델 불확실성의 합으로 계산된다.
• 거부 임계값을 적용한다: 총 불확실성이 임계값을 초과하는 예측은 거부되고 분류되지 않는다.
• 다양한 거부 임계값에서 모델을 평가하고, 심장 전문의와의 사례 연구를 통해 높은 불확실성 및 잘못 분류된 케이스를 해석한다.

실험 결과

연구 질문

• RQ1 베이지안 딥 러닝에서 유도된 불확실성 추정이 자동 ECG 부정맥 분류의 신뢰도를 향상시킬 수 있는가?
• RQ2 높은 불확실성을 가진 예측을 거부하면, 나머지 수용된 예측의 성능이 향상되는가?
• RQ3 레이블 불일치나 신호 노이즈와 같은 임상적 원인으로 인해 높은 불확실성이 발생하는 경우는 무엇이며, 이는 모델 예측에 어떻게 영향을 미치는가?
• RQ4 거부 비율이 증가함에 따라 모델의 성능은 어떻게 변화하는가?
• RQ5 불확실성 기반 거부 전략이 어려운 또는 모호한 케이스를 전문가 검토 대상으로 우선순위 지정함으로써 더 안전한 임상적 구현을 지원할 수 있는가?

주요 결과

• 정확히 분류된 샘플은 잘못 분류된 샘플보다 유의미하게 낮은 불확실성(α < 0.01)을 보였으며, 이는 불확실성이 예측 신뢰도와 관련이 있음을 확인한다.
• 거부 임계값을 낮추면(즉, 더 많은 예측이 거부됨) 모든 부정맥 유형에서 수용된 예측의 정밀도가 향상되었으며, 이는 유지된 케이스에서의 성능 향상을 보여준다.
• 거부된 샘플은 잘못 분류될 가능성이 더 높았으며, 이는 불확실성이 임상적 검토를 위해 고위험 또는 모호한 케이스를 효과적으로 식별함을 시사한다.
• 사례 연구에서 높은 데이터 불확실성은 주로 노이즈가 많은 ECG 신호나 전문가 간의 레이블 불일치에서 기인했으며, 특히 혼합 또는 경계 상태의 케이스에서 두드러졌다.
• 낮은 불확실성과 함께 잘못된 예측가능한 경우는 주로 다중 부정맥이 동시에 존재함에도 불구하고 한 부정맥에만 레이블이 부여된 불일치 또는 불완전한 레이블 때문이었다.
• 이 방법은 질환의 심각도에 따라 동적 임계값 설정이 가능하여, 생명을 위협하는 부정맥에 대해 더 높은 안전 마진을 제공할 수 있다.