[논문 리뷰] Improving Early Sepsis Prediction with Multi Modal Learning

Fred Qin, Vivek Madan외 5명|arXiv (Cornell University)|2021. 07. 23.

Machine Learning in Healthcare참고 문헌 28인용 수 6

한 줄 요약

이 논문은 BERT와 Amazon Comprehend Medical를 사용하여 구조화된 생체 징후와 임상 텍스트(예: 의료진 및 간호사 노트)를 통합하는 다중모달 딥러닝 모델을 제안한다. 임상 텍스트의 문맥적 임bedding을 활용함으로써, 기준 모델 대비 예측 유틸리티가 6.07점 향상되고 AUROC가 2.89% 향상되어 qSOFA 및 PhysioNet 2019 챌린지 우승 모델을 초월한다.

ABSTRACT

Sepsis is a life-threatening disease with high morbidity, mortality and healthcare costs. The early prediction and administration of antibiotics and intravenous fluids is considered crucial for the treatment of sepsis and can save potentially millions of lives and billions in health care costs. Professional clinical care practitioners have proposed clinical criterion which aid in early detection of sepsis; however, performance of these criterion is often limited. Clinical text provides essential information to estimate the severity of the sepsis in addition to structured clinical data. In this study, we explore how clinical text can complement structured data towards early sepsis prediction task. In this paper, we propose multi modal model which incorporates both structured data in the form of patient measurements as well as textual notes on the patient. We employ state-of-the-art NLP models such as BERT and a highly specialized NLP model in Amazon Comprehend Medical to represent the text. On the MIMIC-III dataset containing records of ICU admissions, we show that by using these notes, one achieves an improvement of 6.07 points in a standard utility score for Sepsis prediction and 2.89% in AUROC score. Our methods significantly outperforms a clinical criteria suggested by experts, qSOFA, as well as the winning model of the PhysioNet Computing in Cardiology Challenge for predicting Sepsis.

연구 동기 및 목표

• 전자 건강 기록 내 비구조화된 임상 텍스트를 구조화된 생리적 데이터와 통합하여 초기 패혈증 예측을 향상시키기.
• 최신 자연어 처리(NLP) 모델이 전통적인 임상 점수 체계를 초월하여 패혈증 예측을 향상시킬 수 있는지 평가하기.
• 다중모달 모델이 BERT와 전문 의료 NLP 도구를 사용할 경우, 오직 구조화된 데이터에 의존하는 기준 모델과의 성능 비교하기.
• 텍스트 특징이 중증 관리 환경에서 모델의 해석 가능성과 예측 유틸리티에 기여하는 정도 평가하기.

제안 방법

• 모델은 수치적 생체 징후(예: 심박수, 혈압) 및 EHR의 임상 노트를 포함한 다중모달 입력을 사용한다.
• 임상 텍스트는 두 가지 NLP 접근법을 통해 처리된다: 미세조정된 BERT와 Amazon Comprehend Medical를 이용한 엔티티 추출 및 임베딩.
• 텍스트 임베딩은 구조화된 특징과 결합되어 최종 예측을 위해 기울기 부스팅 트리 모델(XGBoost)에 입력된다.
• 모델은 MIMIC-III 데이터셋에서 학습 및 평가되며, 패혈증 발병 24시간 이내에 예측이 이루어진다.
• 특징 중요도 분석은 샤플리 값(Shapley values)을 사용하여 수행되어 텍스트 및 수치적 특징의 기여도를 평가한다.
• 주요 평가 지표로 유틸리티 점수가 사용되며, 이는 거짓 음성보다 거짓 음성에 더 무거운 가중치를 부여한다.

실험 결과

연구 질문

• RQ1 비구조화된 임상 텍스트를 다중모달 모델에 통합함으로써, 오직 구조화된 데이터만 사용하는 모델 대비 초기 패혈증 예측 성능이 유의미하게 향상되는가?
• RQ2 특히 BERT와 Amazon Comprehend Medical와 같은 다양한 NLP 기법이 임상 노트에서 패혈증 예측에 유의미한 표현을 추출하는 데 어떻게 비교되는가?
• RQ3 텍스트 특징의 통합이 유틸리티 점수 및 AUROC와 같은 임상적으로 관련된 지표에 측정 가능한 향상 효과를 가져오는가?
• RQ4 특징 중요도 분 析로 측정했을 때, 텍스트 특징이 모델의 해석 가능성과 예측 신뢰도에 얼마나 기여하는가?
• RQ5 제안된 모델이 qSOFA와 같은 전문가가 설계한 임상 기준 및 이전 챌린지의 최고 성능 기계 학습 모델을 초월할 수 있는가?

주요 결과

• 임상 텍스트를 통합한 다중모달 모델은 오직 구조화된 데이터만 사용하는 기준 모델 대비 표준 유틸리티 점수에서 6.07점 향상되었다.
• 기준 모델 대비 AUROC가 2.89% 향상되어 패혈증 환자와 비패혈증 환자 간의 분류 능력이 향상됨을 보여주었다.
• 실제 임상에서 널리 사용되지만 초기 패혈증 탐지에 민감도가 낮은 것으로 알려진 qSOFA 임상 기준을 뛰어넘었다.
• 텍스트 특징은 예측에 있어 세 번째로 영향력 있는 기여 요소로 평가되었으며, 샤플리 값 분석을 통해 모델 출력에 상당한 영향을 미침을 확인하였다.
• 오직 구조화된 데이터만 사용한 MIMIC-III 챌린지 우승 솔루션보다도 성능이 뛰어났다.
• 비록 비패혈증 환자에서 상대적으로 높은 거짓 양성률(약 30%)을 보였지만, 높은 재현율과 낮은 거짓 음성률 덕분에 유틸리티 점수에서 유리했으며, 이는 임상적 우선순위를 반영한다.