[논문 리뷰] Artificial Intelligence System for Detection and Screening of Cardiac Abnormalities using Electrocardiogram Images

Deyun Zhang, Shijia Geng외 29명|arXiv (Cornell University)|2023. 02. 10.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

이 연구는 딥러닝을 사용하여 실제 전기심장도(ECG) 이미지—예를 들어 종이 ECG의 사진이나 스캔 이미지—에서 심장 이상을 탐지하고 걸러내는 인공지능(AI) 시스템을 제시한다. 52,357명의 환자로 구성된 다양한 데이터셋으로 훈련된 이 시스템은 탐지에서 최대 AUC 0.996, 걸러내기에서 AUC 0.894를 기록했으며, 걸러내기 성능에서 심장내과 전문의를 능가했고 전문의 진단과 강한 상관관계를 보였다.

ABSTRACT

The artificial intelligence (AI) system has achieved expert-level performance in electrocardiogram (ECG) signal analysis. However, in underdeveloped countries or regions where the healthcare information system is imperfect, only paper ECGs can be provided. Analysis of real-world ECG images (photos or scans of paper ECGs) remains challenging due to complex environments or interference. In this study, we present an AI system developed to detect and screen cardiac abnormalities (CAs) from real-world ECG images. The system was evaluated on a large dataset of 52,357 patients from multiple regions and populations across the world. On the detection task, the AI system obtained area under the receiver operating curve (AUC) of 0.996 (hold-out test), 0.994 (external test 1), 0.984 (external test 2), and 0.979 (external test 3), respectively. Meanwhile, the detection results of AI system showed a strong correlation with the diagnosis of cardiologists (cardiologist 1 (R=0.794, p<1e-3), cardiologist 2 (R=0.812, p<1e-3)). On the screening task, the AI system achieved AUCs of 0.894 (hold-out test) and 0.850 (external test). The screening performance of the AI system was better than that of the cardiologists (AI system (0.846) vs. cardiologist 1 (0.520) vs. cardiologist 2 (0.480)). Our study demonstrates the feasibility of an accurate, objective, easy-to-use, fast, and low-cost AI system for CA detection and screening. The system has the potential to be used by healthcare professionals, caregivers, and general users to assess CAs based on real-world ECG images.

연구 동기 및 목표

• 실제 전기심장도(ECG) 이미지—특히 디지털 의료 인프라가 부족한 지역에서의 사진이나 스캔 이미지—에서 심장 이상을 탐지하고 걸러내는 데 목적이 있는 AI 시스템을 개발하는 것.
• 불량한 조명, 각도 변화, 이미지 왜곡 등 비표준 조건에서 촬영된 ECG 이미지를 분석하는 데 도전하는 것.
• 의료 종사자, 간병인, 일반 사용자가 이용할 수 있는 저비용, 빠르고 접근성 있는 도구를 만들기 위한 것.
• 전문 심장내과 전문의와의 비교를 통해 시스템의 성능을 검증하고 다양한 인구 및 지리적 지역에서 임상적으로 유의미한 성능을 보장하는 것.

제안 방법

• 52,357개의 ECG 이미지를 포함한 대규모 데이터셋을 사용하여 파이토치(PyTorch) 기반으로 엔드 투 엔드로 컨볼루션 신경망(CNN)을 훈련시켰다.
• 모델의 일반화 능력과 이미지 변형에 대한 강건성을 향상시키기 위해 RandomResizedCrop 및 Normalize와 같은 데이터 증강 기법을 적용했다.
• 과적합을 방지하기 위해 동적 학습률 스케줄링과 조기 정지 기법을 사용하여 Adam 최적화 알고리즘으로 모델을 최적화했다.
• Django를 통한 클라우드 기반 배포를 통해 보안성과 확장성을 확보한 RESTful API를 통해 실시간으로 ECG 이미지를 업로드하고 AI 분석 결과를 수신할 수 있도록 했다.
• API 토큰 기반 사용자 인증 기능을 제공하며, 모바일 기기에서 이미지 업로드, 결과 확인, 의료진과 결과 공유가 가능한 단순한 모바일 인터페이스를 포함했다.
• 성능 평가에는 AUC, 정확도, 민감도, 특이도, F1 점수, 심장내과 전문의 진단과의 피어슨 상관계수를 사용했다.

실험 결과

연구 질문

• RQ1 사진이나 종이 ECG 스캔 이미지와 같은 실제 전기심장도(ECG) 이미지에서 심장 이상을 탐지하는 데 있어 AI 시스템이 전문가 수준의 성능을 달성할 수 있는가?
• RQ2 경과가 없는 심장 이상 질환을 식별하는 데 있어 AI 시스템의 걸러내기 성능가 심장내과 전문의의 성능와 비교해 볼 때 어떻게 되는가?
• RQ3 AI 시스템이 다양한 인구 및 다른 지리적 지역에서의 외부 데이터셋에서도 높은 성능을 유지할 수 있는가?
• RQ4 이 시스템은 주 치료 및 자가 검사 환경에서 저비용, 확장 가능하고 사용자 우호적인 도구로 전 세계적으로 배포될 수 있는가?

주요 결과

• 심장 이상 탐지에서 AI 시스템은 보류 테스트 세트에서 AUC 0.996, 외부 테스트 세트 1에서 0.994, 외부 테스트 세트 2에서 0.984, 외부 테스트 세트 3에서 0.979를 기록했다.
• 심장내과 전문의 진단과의 상관관계에서 피어슨 상관계수는 두 명의 독립된 전문의에 대해 각각 0.794 (p < 1e-3) 및 0.812 (p < 1e-3)를 기록했다.
• 걸러내기 작업에서 AI 시스템은 보류 세트에서 AUC 0.894, 외부 테스트 세트에서 AUC 0.850를 기록했으며, 심장내과 전문의의 성능(AUC 0.520 및 0.480)을 뚜렷이 뛰어넘었다.
• 심장 이상 탐지에서 시스템은 보류 세트에서 민감도 92.1%, 특이도 95.3%를 기록했고, F1 점수는 0.928를 기록했다.
• 다양한 인구 및 지리적 지역에서 일관된 성능을 유지하여 강력한 일반화 능력을 보였다.
• 모바일 기기에서 인터넷 연결을 통해 실시간 ECG 이미지 분석이 가능한 모바일 우수 인터페이스를 갖춘 클라우드 기반 서비스로 성공적으로 배포되었다.