[논문 리뷰] Semantically Enhanced Dynamic Bayesian Network for Detecting Sepsis Mortality Risk in ICU Patients with Infection

Tony Wang, Tom Velez외 4명|arXiv (Cornell University)|2018. 06. 26.

Sepsis Diagnosis and Treatment참고 문헌 53인용 수 6

한 줄 요약

이 연구는 감염성 쇼크 환자의 중환자실(ICU)에서의 쇼크 사망률을 예측하기 위해 맞춤형 세프시스 온톨로지와 구조화된 생리학적 데이터, 비구조화된 임상 노트를 통합한 의미적 강화된 동적 베이지안 네트워크(DBN)를 제안한다. DBN은 AUROC 0.91을 기록하여 SOFA(0.843), qSOFA(0.66), MEWS(0.729), SAPS-II(0.766)와 같은 전통적인 점수 도구보다 유의미하게 뛰어난 예측 정확도와 재분류 성능을 보였다.

ABSTRACT

Although timely sepsis diagnosis and prompt interventions in Intensive Care Unit (ICU) patients are associated with reduced mortality, early clinical recognition is frequently impeded by non-specific signs of infection and failure to detect signs of sepsis-induced organ dysfunction in a constellation of dynamically changing physiological data. The goal of this work is to identify patient at risk of life-threatening sepsis utilizing a data-centered and machine learning-driven approach. We derive a mortality risk predictive dynamic Bayesian network (DBN) guided by a customized sepsis knowledgebase and compare the predictive accuracy of the derived DBN with the Sepsis-related Organ Failure Assessment (SOFA) score, the Quick SOFA (qSOFA) score, the Simplified Acute Physiological Score (SAPS-II) and the Modified Early Warning Score (MEWS) tools. A customized sepsis ontology was used to derive the DBN node structure and semantically characterize temporal features derived from both structured physiological data and unstructured clinical notes. We assessed the performance in predicting mortality risk of the DBN predictive model and compared performance to other models using Receiver Operating Characteristic (ROC) curves, area under curve (AUROC), calibration curves, and risk distributions. The derived dataset consists of 24,506 ICU stays from 19,623 patients with evidence of suspected infection, with 2,829 patients deceased at discharge. The DBN AUROC was found to be 0.91, which outperformed the SOFA (0.843), qSOFA (0.66), MEWS (0.73), and SAPS-II (0.77) scoring tools. Continuous Net Reclassification Index and Integrated Discrimination Improvement analysis supported the superiority DBN. Compared with conventional rule-based risk scoring tools, the sepsis knowledgebase-driven DBN algorithm offers improved performance for predicting mortality of infected patients in ICUs.

연구 동기 및 목표

• 감염성 쇼크 환자에서 조기 쇼크 사망 위험을 향상시키기 위한 데이터 기반, 기계학습 기반 모델을 개발한다.
• 세프시스 전용 온톨로지를 사용하여 구조화된 생리학적 데이터와 비구조화된 임상 노트를 통합하여 시간적 특징 표현을 향상시킨다.
• 소환, qSOFA, MEWS, SAPS-II와 같은 전통적인 임상 점수 체계보다 감염성 쇼크 환자에서 퇴원 시 사망률을 예측하는 데 뛰어나게 한다.
• 대규모 실생활 ICU 데이터셋(24,506건의 입원 기록)에서 모델을 검증하고 철저한 통계적 평가를 통해 그 슈퍼리오리티를 입증한다.
• 신규 데이터에 대한 반복적 재학습과 임상의가 개입한 의미 모델링을 통해 지속적인 모델 향상 가능성을 확보한다.

제안 방법

• DBN의 시간적 특징의 노드 구조와 의미적 특성화를 안내하기 위해 맞춤형 세프시스 온톨로지를 구축하였다.
• 자연어 처리와 시간적 특징 공학을 통해 임상 서술 노트와 생리학적 시계열 데이터에서 의미적으로 풍부한 특징을 유도하였다.
• 시간에 따라 장기 기능 이상과 생리학적 변화의 확률적 변화를 모델링하는 동적 베이지안 네트워크(DBN)를 구축하였다.
• 감염이 의심되는 환자 19,623명의 24,506건의 ICU 입원 기록을 사용하여 퇴원 시 사망 여부를 결과로 삼아 DBN을 훈련시켰다.
• ROC 곡선, AUROC, 캘리브레이션 곡선, 위험 분포 분석, 연속 Net Reclassification Index(NRI) 및 통합 분류 향상 지수(IDI)를 사용하여 성능을 검증하였다.
• 임상의가 참여하는 의미 모델을 반복적으로 개선하고 해석 가능성 및 성능 향상을 지원하기 위해 Cmap 기반 프레임워크를 활용하였다.

실험 결과

연구 질문

• RQ1 전통적인 점수 도구와 비교할 때 의미적 강화된 동적 베이지안 네트워크는 중환자실 환자에서 쇼크 관련 사망률을 예측하는 데 더 뛰어난 성능을 보일 수 있는가?
• RQ2 비구조화된 임상 노트와 구조화된 생리학적 데이터를 통합함으로써 쇼크 사망 위험 모델링의 예측 성능은 어느 정도 향상되는가?
• RQ3 AUROC, 캘리브레이션, 재분류 측면에서 DBN 모델의 성능은 SOFA, qSOFA, MEWS, SAPS-II와 비교해 어떻게 나타나는가?
• RQ4 지식 기반 DBN은 규칙 기반 점수 체계보다 시간적 역학과 장기 기능 이상 진행 과정을 더 효과적으로 포착할 수 있는가?
• RQ5 임상의가 구축한 온톨로지와 Cmap 기반 모델 개선 방식을 사용할 경우 모델의 강건성과 일반화 능력은 향상되는가?

주요 결과

• 제안된 DBN은 감염성 쇼크 환자에서 퇴원 시 사망률을 예측하는 데 AUROC 0.91을 기록하여 SOFA(0.843), qSOFA(0.66), MEWS(0.729), SAPS-II(0.766)를 뛰어넘었다.
• 연속 Net Reclassification Index(NRI) 및 통합 분류 향상 지수(IDI) 분석을 통해 DBN이 SOFA, qSOFA, MEWS, SAPS-II보다 뛰어난 성능을 보였다.
• 모델은 강력한 캘리브레이션과 균형 잡힌 위험 예측 분포를 보이며, 위험 군집 전반에서 신뢰할 수 있는 분류 능력을 나타냈다.
• 비구조화된 임상 노트와 구조화된 데이터의 통합은 특징 표현을 풍부하게 하고 전통적 점수 체계를 초월한 모델 정확도 향상을 이끌었다.
• 모델의 성능는 환자 내부 상관관계의 영향을 최소화하고도 뚜렷한 강건성을 유지하여, 모든 입원 기록을 포함한 분석에서도 안정적인 성능을 보였다.
• Cmap 기반 프레임워크는 임상의의 참여를 반영한 의미 모델의 반복적 개선을 가능하게 하여 지속적인 모델 향상과 새로운 증거에 대한 적응을 지원한다.