[논문 리뷰] How to Leverage Multimodal EHR Data for Better Medical Predictions?

Bo Yang, Lijun Wu|arXiv (Cornell University)|2021. 10. 29.

Machine Learning in Healthcare참고 문헌 27인용 수 6

한 줄 요약

이 논문은 구조화된 EHR 데이터, 임상 검사 결과 및 비구조화된 임상 노트를 통합하여 의료 예측 성능을 향상시키는 다중모달 융합 프레임워크를 제안한다. 다양한 데이터 유형을 결합하기 위해 딥 러닝을 활용함으로써, 임상 노트를 포함하지 않은 최신 기술 모델들보다 뛰어난 성능을 달성하며, 이는 텍스트 기반 임상 노트가 예측 의료 과제에서 핵심적인 가치를 지닌다는 것을 입증한다.

ABSTRACT

Healthcare is becoming a more and more important research topic recently. With the growing data in the healthcare domain, it offers a great opportunity for deep learning to improve the quality of medical service. However, the complexity of electronic health records (EHR) data is a challenge for the application of deep learning. Specifically, the data produced in the hospital admissions are monitored by the EHR system, which includes structured data like daily body temperature, and unstructured data like free text and laboratory measurements. Although there are some preprocessing frameworks proposed for specific EHR data, the clinical notes that contain significant clinical value are beyond the realm of their consideration. Besides, whether these different data from various views are all beneficial to the medical tasks and how to best utilize these data remain unclear. Therefore, in this paper, we first extract the accompanying clinical notes from EHR and propose a method to integrate these data, we also comprehensively study the different models and the data leverage methods for better medical task prediction. The results on two medical prediction tasks show that our fused model with different data outperforms the state-of-the-art method that without clinical notes, which illustrates the importance of our fusion method and the value of clinical note features. Our code is available at https: //github.com/emnlp-mimic/mimic.

연구 동기 및 목표

• 다양한 유형의 EHR 데이터—구조화된 데이터, 검사 결과, 비구조화된 임상 노트—를 통합하여 통합된 예측 프레임워크를 구축하는 데 도전한다.
• 이전의 EHR 전처리 과정에서 간과되기 쉬운 임상 노트가 의료 예측 성능 향상에 기여하는지, 그리고 어떻게 기여하는지를 조사한다.
• 다양한 EHR 데이터 소스를 융합하여 임상 예측 과제에서 성능을 향상시키기 위한 다중모달 딥 러닝 모델을 개발하고 평가한다.

제안 방법

• 논문은 MIMIC-III EHR 데이터에서 임상 노트를 추출하고, 의미를 포착하기 위해 딥 네트워크를 사용해 인코딩한다.
• 구조화된 데이터, 검사 결과 및 임상 노트의 임베딩을 통합하여 공동 표현을 만드는 다중모달 융합 아키텍처를 적용한다.
• 예측 과정에서 다양한 데이터 모달리티의 중요도를 동적으로 가중치를 부여하기 위해 어텐션 메커니즘을 사용한다.
• 마지막 예측 헤드 이전에 모달리티별 표현을 연결하는 후기 융합 전략을 적용한다.
• 프레임워크는 입원 중 사망률 및 퇴원 기간 예측이라는 두 가지 임상 예측 과제에서 엔드 투 엔드로 훈련된다.
• 코드는 재현 가능성을 위해 공개되어 있으며, MIMIC-III 데이터셋을 사용하여 방법이 검증되었다.

실험 결과

연구 질문

• RQ1 비구조화된 임상 노트가 EHR의 구조화된 데이터 및 검사 결과와 융합될 경우, 의료 예측 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 다양한 데이터 모달리티(구조화된 데이터, 검사 결과, 텍스트)가 개별적으로나 함께 작용할 때 예측 성능에 어떻게 기여하는가?
• RQ3 임상 과제에서 예측 정확도를 최대화하기 위해 다중모달 EHR 데이터를 최적의 방식으로 융합하는 방법은 무엇인가?

주요 결과

• 제안된 다중모달 융합 모델은 임상 노트를 배제한 최신 기술 모델들보다 입원 중 사망률 및 퇴원 기간 예측 과제에서 뛰어난 성능을 보였다.
• 임상 노트의 통합은 AUC에 명확한 향상을 가져왔으며, 이는 이전 방법에서 활용되지 못한 채로 남아 있음에도 불구하고 높은 예측가치를 지닌다는 것을 입증한다.
• 모든 세 가지 데이터 모달리티(구조화된 데이터, 검사 결과, 임상 노트)를 포함한 모델이 가장 높은 성능을 달성하여, 다중모달 융합의 이점이 확인되었다.
• 어텐션 메커니즘이 다양한 모달리티 간에 가장 정보가 많은 특징을 효과적으로 식별하고 가중치를 할당하여, 모델의 해석 가능성과 강건성을 향상시켰다.
• 제거 실험(ablation study) 결과, 임상 노트를 제거할 경우 성능이 뚜렷이 저하됨을 확인하여, 이들이 예측 과정에서 핵심적인 역할을 한다는 점을 재확인하였다.