[논문 리뷰] Predicting Severe Sepsis Using Text from the Electronic Health Record

Phil Culliton, Michael Levinson외 4명|arXiv (Cornell University)|2017. 11. 30.

Machine Learning in Healthcare참고 문헌 6인용 수 14

한 줄 요약

이 연구는 전자 건강 기록(EHR)의 비정형 텍스트만을 사용하여 중증 패혈증을 최대 24시간 전에 예측하는 기계학습 모델을 개발하였으며, AUC 0.81을 달성하였다. 이 모델은 구조화된 데이터만을 사용하는 경우보다 우수한 성능을 보이며, 비정형 텍스트와 구조화된 데이터를 결합할 경우 더욱 향상된다. 이는 임상 노트에 구조화된 필드에 기록되지 않은 전문가가 주석을 달아 예측 가능한 정보가 많이 포함되어 있음을 시사한다.

ABSTRACT

Employing a machine learning approach we predict, up to 24 hours prior, a diagnosis of severe sepsis. Strongly predictive models are possible that use only text reports from the Electronic Health Record (EHR), and omit structured numerical data. Unstructured text alone gives slightly better performance than structured data alone, and the combination further improves performance. We also discuss advantages of using unstructured EHR text for modeling, as compared to structured EHR data.

연구 동기 및 목표

• 비정형 EHR 텍스트만을 사용하여 중증 패혈증을 최대 24시간 전에 예측할 수 있는지 조사하기 위해.
• 비정형 텍스트, 구조화된 데이터, 그리고 그 조합의 예측 성능를 중증 패혈증 예측에 대해 비교하기 위해.
• 진단 이전에 고위험 환자를 식별하는 데 비정형 텍스트 기반 모델의 임상적 유용성을 평가하기 위해.
• 패혈증 예측 모델링에서 비정형 임상 노트의 장점이 구조화된 데이터보다 무엇인지 평가하기 위해.

제안 방법

• 2012~2016년 사이 베이스타트 헬스에서 203,000명의 입원 환자 EHR 기록을 후향적으로 분석하였다.
• 8개의 구조화된 변수와 ICD-10 코드를 조합한 수정된 임상 기준을 사용하여 중증 패혈증을 정의하였으며, 각 환자에게 정확한 '중증 패혈증 정의 시점'을 설정하였다.
• 양성 사례의 경우 중증 패혈증 정의 시점 24시간 이내의 노트를 제거하여 모델링 윈도우를 구성하였고, 음성 사례의 경우 무작위로 시간대를 선택하였다.
• 환자당 모든 비정형 노트(예: 진행 상황 노트, H&P)를 결합하여 단일 텍스트 블록으로 통합하였다.
• 기계학습을 위해 텍스트를 수치 벡터로 변환하기 위해 기본적인 '단어의 주머니' 분포 표현을 적용하였다.
• 2016년 데이터를 사용한 교차 검증 및 시간 외 테스트를 통해 로지스틱 회귀 모델을 훈련 및 평가하였다.

실험 결과

연구 질문

• RQ1 비정형 EHR 텍스트만을 사용하여 중증 패혈증을 최대 24시간 전에 예측할 수 있는가?
• RQ2 비정형 텍스트의 예측 성능는 구조화된 데이터만을 사용할 때와 비교해 어떻게 다른가?
• RQ3 비정형 및 구조화된 EHR 데이터를 조합하면, 개별 모달리티보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ4 패혈증 예측 모델링에서 비정형 임상 노트를 구조화된 데이터보다 사용하는 데 실질적인 이점은 무엇인가?

주요 결과

• 비정형 텍스트 전용 모델은 AUC 0.81을 달성하였으며, 구조화된 데이터 전용 모델(AUC 0.80)보다 略으로 뛰어났다.
• 비정형 및 구조화된 데이터를 모두 사용하는 통합 모델은 AUC 0.85를 기록하여 비정형 텍스트 전용 모델 대비 5~10% 향상되었다.
• 예측 결과 상위 1% 환자(13,603명 중 136명) 중 125명이 24시간 이내에 중증 패혈증을 발병함이 확인되었다.
• 모델은 실질적인 임상 유용성을 보였다: 1,000명의 환자 군에서 상위 10%(136명)에 포함된 환자 중 272명이 중증 패혈증을 발병하였으며, 이는 강력한 조기 탐지 잠재력을 시사한다.
• 비정형 노트에는 구조화된 데이터에 기록되지 않은 임상적으로 관련 있는 전문가 주석 정보가 포함되어 있으며, 이는 심각한 이상 소견에 대한 선택적 강조를 포함한다.
• 비정형 텍스트를 사용할 경우 구조화된 데이터를 사용할 때보다 수작업 전처리가 줄어든다. 구조화된 데이터의 경우 최대/최소 혈압 등의 집계 및 결측치 처리가 필요하기 때문이다.