[논문 리뷰] A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data for Interpretable In-Hospital Mortality Prediction

Weimin Lyu, Xinyu Dong외 5명|PubMed|2022. 08. 09.

Machine Learning in Healthcare참고 문헌 21인용 수 35

한 줄 요약

다중 모달 트랜스포머를 도입하여 시계열 구조화된 EHR 데이터와 임상 노트를 융합하고, 노트에는 Clinical BERT를 사용하며 다중 모달 인코더를 통해 입원 중 사망 예측을 개선하고, 해석 가능한 IG 및 Shapley 분석을 제공한다.

ABSTRACT

Deep-learning-based clinical decision support using structured electronic health records (EHR) has been an active research area for predicting risks of mortality and diseases. Meanwhile, large amounts of narrative clinical notes provide complementary information, but are often not integrated into predictive models. In this paper, we provide a novel multimodal transformer to fuse clinical notes and structured EHR data for better prediction of in-hospital mortality. To improve interpretability, we propose an integrated gradients (IG) method to select important words in clinical notes and discover the critical structured EHR features with Shapley values. These important words and clinical features are visualized to assist with interpretation of the prediction outcomes. We also investigate the significance of domain adaptive pretraining and task adaptive fine-tuning on the Clinical BERT, which is used to learn the representations of clinical notes. Experiments demonstrated that our model outperforms other methods (AUCPR: 0.538, AUCROC: 0.877, F1:0.490).

연구 동기 및 목표

• 병원 내 사망 예측을 비정형 임상 노트를 구조화된 EHR 시계열 데이터와 통합하여 향상시킨다.
• 단어 수준 및 특징 수준의 설명을 통해 예측의 해석 가능성을 개선한다.
• 도메인 적응 사전 훈련과 작업 적응 세부 조정이 예측 성능에 미치는 영향을 Clinical BERT에 대해 평가한다.

제안 방법

• 17개의 사전 처리된 임상 변수를 시계열 입력으로 처리한다.
• MIMIC 데이터에서 학습된 미세 조정된 Clinical BERT (MBERT) 모델로 노트를 임베딩한다.
• 노트를 별도로 인코딩하고 시계열 데이터를 인코딩한 뒤 공유 공간에서 Multimodal Encoder를 통해 융합하는 세 가지 인코더 다중 모달 융합을 사용한다.
• ICU 체류 전반의 시간 의존성을 포착하기 위해 Transformer를 적용하고 다중 모달 표현을 다중 모달 표현으로 사용하기 위해 T0 토큰을 구성된 멀티모달 표현으로 사용한다.
• 다중 모달 표현을 노트 임베딩과 연결하고 교차 엔트로피 손실과 L2 정규화를 활용한 MLP를 통해 예측한다.
• mortality 태스크에서 BERT 계열(BERT, BioBERT, BioRoBERTa, Clinical BERT)에 대한 도메인 적응 사전 학습 및 작업 적응 미세 조정을 조사한다.

실험 결과

연구 질문

• RQ1 임상 노트와 구조화된 EHR 시계열 데이터를 트랜스포머를 사용해 사망 예측에 어떻게 효과적으로 융합할 수 있는가?
• RQ2 도메인 적응 사전 학습 및 작업 적응 미세 조정이 이 task의 예측 성능을 향상시키는가?
• RQ3 Integrated Gradients와 Shapley 값이 각각 노트 토큰과 구조화된 특징에 대해 의미 있는 해석 가능성을 제공하는가?

주요 결과

Prediction Model	AUCPR	AUCROC	F1
Only Variables | LSTM	0.460(±0.013)	0.821(±0.006)	0.392(±0.038)
Transformer	0.473(±0.011)	0.827(±0.005)	0.406(±0.025)
Only Notes | MBERT	0.482(±0.012)	0.851(±0.005)	0.382(±0.079)
Fusion | MBERT+LSTM	0.508(±0.002)	0.859(±0.001)	0.478(±0.023)
Multimodal Transformer (Ours)	0.538(±0.004)	0.877(±0.001)	0.490(±0.036)

• 다중 모달 트랜스포머는 우수한 성능을 달성합니다: AUCPR 0.538, AUCROC 0.877, F1 0.490.
• 비교 방법은 변수만, 노트만, 또는 단순 융합 전략만 사용하는 것보다 개선을 보였습니다.
• 도메인 적응 사전 학습 및 작업 적응 미세 조정(Clinical BERT 변형)이 성능에 크게 영향을 미치며, 작업 적응 후 Clinical BERT 기반 모델이 최상의 성능을 보였습니다.
• Integrated Gradients는 증상 및 예후 지표와 같은 임상적으로 의미 있는 노트 토큰을 강조하고, Shapley 값은 Glasgow Coma Scale, 호흡 및 혈역학 지표 등과 같은 상위 기여 특징을 식별합니다.
• 제안된 아키텍처는 Transformer 주의력으로 시간에 따른 융합을 가능하게 하며 ICU 체류의 모든 시점으로부터 정보를 활용합니다.