[논문 리뷰] Sepsis Prediction and Vital Signs Ranking in Intensive Care Unit Patients

Avijit Mitra, Khalid Ashraf|arXiv (Cornell University)|2018. 12. 17.

Machine Learning in Healthcare참고 문헌 13인용 수 14

한 줄 요약

이 연구는 MIMIC-III 데이터셋을 사용하여 중환자실 환자에서 패혈성 쇼크, 중증 패혈증 및 패혈증을 탐지하고 예측하기 위해 일반적인 생체 징후만 활용하는 딥러닝 앙상블 모델을 제안한다. 모델은 탐지에 대해 AUC 0.97, 0.96, 0.91을 기록하고, 진단 4시간 전 예측에 대해 각각 AUC 0.90, 0.91, 0.90를 달성하여 단일 모델 및 규칙 기반 방법을 능가하며, 여섯 가지 생체 징후가 일관되게 최적의 성능을 보였다.

ABSTRACT

We study multiple rule-based and machine learning (ML) models for sepsis detection. We report the first neural network detection and prediction results on three categories of sepsis. We have used the retrospective Medical Information Mart for Intensive Care (MIMIC)-III dataset, restricted to intensive care unit (ICU) patients. Features for prediction were created from only common vital sign measurements. We show significant improvement of AUC score using neural network based ensemble model compared to single ML and rule-based models. For the detection of sepsis, severe sepsis, and septic shock, our model achieves an AUC of 0.97, 0.96 and 0.91, respectively. Four hours before the positive hours, it predicts the same three categories with an AUC of 0.90, 0.91 and 0.90 respectively. Further, we ranked the features and found that using six vital signs consistently provides higher detection and prediction AUC for all the models tested. Our novel ensemble model achieves highest AUC in detecting and predicting sepsis, severe sepsis, and septic shock in the MIMIC-III ICU patients, and is amenable to deployment in hospital settings.

연구 동기 및 목표

• MIMIC-III 데이터셋을 사용하여 중환자실 환자에서 패혈증 탐지 및 예측을 위한 규칙 기반 및 기계학습 모델을 비교 평가하기 위해.
• 기존 단일 모델 및 규칙 기반 접근법을 향상시킬 수 있는 딥러닝 앙상블 모델을 개발하고 평가하기 위해.
• 가장 예측 가능한 생체 징후를 규명하고, 패혈증 탐지 및 예측에 최적의 특징 수를 결정하기 위해.
• 일반적으로 수집되는 생체 징후만에 의존함으로써 모델의 임상 적용 가능성을 입증하기 위해.

제안 방법

• 연구는 중환자실 환자에 국한된 MIMIC-III 데이터셋을 사용하며, 심박수, 호흡수, 수축기 혈압, 체온 등 일반적인 생체 징후에서 유도된 특징을 사용한다.
• 다양한 딥러닝 및 전통적인 기계학습 모델의 예측을 조합하여 강건성과 성능을 향상시키는 새로운 신경망 기반 앙상블 모델을 설계한다.
• 순열 중요도를 사용하여 패혈증 예측 및 탐지에 가장 영향을 미치는 생체 징후를 식별한다.
• 결측치 처리를 포함하여 시간에 따라 집계된 시계열 생체 징후 데이터를 사용해 모델을 훈련 및 평가한다.
• 수신기 작동 특성 곡선 아래 면적(AUC)을 사용하여 성능을 평가하며, 탐지(양성 시간대) 및 예측(진단 4시간 전)에 대해 별도의 지표를 제공한다.
• 특징 수를 점진적으로 증가시키며 입력 생체 징후의 수를 변화시켜 최적의 특징 세트를 규명하기 위해 분석을 수행한다.

실험 결과

연구 질문

• RQ1 딥러닝 앙상블 모델이 단일 모델 및 규칙 기반 시스템에 비해 패혈증 탐지 및 예측에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 중환자실 환자에서 패혈증, 중증 패혈증 및 패혈성 쇼크의 예측에 가장 중요한 생체 징후는 무엇인가?
• RQ3 다양한 모델에서 탐지 및 예측 AUC를 최대화하는 데 최적의 생체 징후 수가 존재하는가?
• RQ4 앙상블 모델의 성능은 qSOFA나 SOFA와 같은 기존의 규칙 기반 패혈증 점수 시스템과 비교해 어떻게 다른가?
• RQ5 여섯 가지 이상의 생체 징후를 포함할 경우 성능 향상이 일관되게 이루어지는가, 아니면 포화점이 존재하는가?

주요 결과

• 제안된 딥러닝 앙상블 모델은 패혈증 탐지에 AUC 0.97, 중증 패혈증에 AUC 0.96, 패혈성 쇼크에 AUC 0.91를 기록하여 단일 모델 및 규칙 기반 방법을 뛰어넘었다.
• 임상 진단 4시간 전 예측에 대해 각각 패혈증, 중증 패혈증, 패혈성 쇼크에 대해 AUC 0.90, 0.91, 0.90을 달성하였다.
• 수축기 혈압은 패혈증 예측에 가장 중요한 특징으로 규명되었고, 체온은 탐지에 가장 중요한 특징이었다.
• 여섯 가지 생체 징후를 포함할 경우 모든 모델과 작업에서 가장 높은 AUC를 기록하여 이 수치에서 일반적인 성능 한계가 존재함을 시사했다.
• 분석 결과, 여섯 가지 생체 징후를 초과할 경우 유의미한 AUC 향상이 없었으며, 이는 이 작업에 있어 여섯 가지가 최적의 수임을 시사한다.
• 모델는 다양한 아키텍처에서 뛰어난 성능을 유지하며, 제한된 입력 특징 조건에서도 높은 AUC를 기록하여 실제 임상 환경에서의 적용 가능성을 뒷받침한다.