[논문 리뷰] Explainable artificial intelligence model to predict acute critical illness from electronic health records

Simon Meyer Lauritsen, Mads Ruben Burgdorff Kristensen외 6명|arXiv (Cornell University)|2019. 12. 03.

Machine Learning in Healthcare참고 문헌 55인용 수 23

한 줄 요약

이 논문은 전자 건강 기록(이하 EHR)에서 급성 치명적 질환을 예측하기 위한 설명 가능한 AI 모델인 xAI-EWS를 제시한다. 이 모델은 예측을 위해 시간적 컨volution 네트워크(TCN)를, 해석 가능성을 확보하기 위해 딥 테일러 분해(ⅅTD)를 사용한다. 시스템은 높은 예측 성능(신우질성 신부전(AKI)의 AUROC 최대 0.91)을 달성하면서도 임상의가 각 예측에 영향을 준 EHR 변수를 투명하게 이해할 수 있도록 하여 신뢰도와 임상적 유용성을 향상시킨다.

ABSTRACT

We developed an explainable artificial intelligence (AI) early warning score (xAI-EWS) system for early detection of acute critical illness. While maintaining a high predictive performance, our system explains to the clinician on which relevant electronic health records (EHRs) data the prediction is grounded. Acute critical illness is often preceded by deterioration of routinely measured clinical parameters, e.g., blood pressure and heart rate. Early clinical prediction is typically based on manually calculated screening metrics that simply weigh these parameters, such as Early Warning Scores (EWS). The predictive performance of EWSs yields a tradeoff between sensitivity and specificity that can lead to negative outcomes for the patient. Previous work on EHR-trained AI systems offers promising results with high levels of predictive performance in relation to the early, real-time prediction of acute critical illness. However, without insight into the complex decisions by such system, clinical translation is hindered. In this letter, we present our xAI-EWS system, which potentiates clinical translation by accompanying a prediction with information on the EHR data explaining it.

연구 동기 및 목표

• 기존의 초기 경고 점수보다 더 이르고 정확하게 급성 치명적 질환을 예측할 수 있는 설명 가능한 AI 시스템을 개발하는 것.
• 블랙박스 AI 모델에 대한 임상적 불신을 해소하기 위해 예측 결과에 대한 설명 가능하고 인스턴스 수준의 해석을 제공하는 것.
• 딥 러닝을 활용해 시간적 EHR 데이터를 효과적으로 통합하면서도 실시간 임상 의사결정 지원에 적합한 해석 가능성을 유지하는 것.
• 실제 데니시 EHR 데이터를 바탕으로 세균성 쇼크, AKI, ALI와 같은 세 가지 치명적 질환에 대해 모델을 검증하는 것.

제안 방법

• xAI-EWS 시스템은 시간적 컨volution 네트워크(TCN)를 사용하여 순차적인 EHR 데이터를 처리하고, 급성 치명적 질환의 위험을 0~1 스케일로 예측한다.
• 딥 테일러 분해(ⅅTD)는 TCN의 예측 결과를 설명하기 위해 사용되며, 혈압, 심박수와 같은 입력 EHR 변수에 대해 관련성 점수를 할당한다.
• 모델은 2012~2017년 기간 동안의 다중 기관 데니시 EHR 데이터셋(66,288명의 고유 환자, 총 163,050명의 입원 기록)을 기반으로 훈련된다.
• 모델 평가에는 5중 교차검증을 사용하며, 성능은 AUROC와 AUPRC로 측정된다.
• 설명의 타당성은 응급의학 전문의의 수동 점검을 통해 확인되어 임상적 관련성과 타당성을 평가한다.
• 기준 모델로는 MEWS, SOFA, GB-Vital을 사용하여 xAI-EWS와의 예측 성능 및 해석 가능성에서 비교 분석한다.

실험 결과

연구 질문

• RQ1 설명 가능한 AI 모델이 EHR 데이터를 활용해 기존의 초기 경고 점수를 능가할 수 있는가?
• RQ2 딥 테일러 분해는 복잡한 딥 러닝 예측에 대해 임상적으로 의미 있고 해석 가능한 설명을 어느 정도 제공할 수 있는가?
• RQ3 실제 EHR 환경에서 xAI-EWS 시스템은 세균성 쇼크, AKI, ALI와 같은 다양한 치명적 질환에서 어떻게 성능을 발휘하는가?
• RQ4 시간적 모델링과 설명 가능한 AI를 통합함으로써 임상적 신뢰도와 실시간 환자 모니터링에서 AI의 도입을 어떻게 향상시킬 수 있는가?
• RQ5 EHR 기반의 급성 치명적 질환 예측에서 예측 성능와 해석 가능성 사이의 상충 관계는 어떠한가?

주요 결과

• xAI-EWS 모델은 신우질성 신부전(AKI)에 대해 AUROC 0.91을 기록하여 높은 예측 성능를 입증했다.
• 세균성 쇼크 예측에서는 AUROC 0.88를 달성하여 MEWS 및 SOFA와 같은 기준 모델보다 유의미하게 뛰어난 성능를 보였다.
• GB-Vital 기준 모델은 특히 치명적 질환의 조기 발견에서 xAI-EWS에 비해 낮은 성능를 보였다.
• 의료진이 검증한 설명 결과, 모델은 혈압 저하 및 심박수 상승과 같은 핵심 생리적 추세를 정확히 예측 요인으로 식별했다.
• ⅅTD의 사용 덕분에 예측 결정에 영향을 준 관련 EHR 변수에 대해 신뢰할 수 있고 인스턴스 수준의 할당이 가능해져 임상적 해석 가능성이 향상되었다.
• 세균성 쇼크, AKI, ALI 전반에 걸쳐 높은 성능를 유지함으로써, 다양한 급성 치명적 질환에 대한 일반화 능력을 확인했다.