[논문 리뷰] Machine Learning for Multimodal Electronic Health Records-based Research: Challenges and Perspectives

Ziyi Liu, Jiaqi Zhang외 4명|arXiv (Cornell University)|2021. 11. 09.

Machine Learning in Healthcare참고 문헌 78인용 수 5

한 줄 요약

이 논문은 임상 예측 작업을 향상시키기 위해 구조화된 및 비구조화된 전자 건강 기록(EHR) 데이터를 통합하는 기계학습 및 딥러닝 접근법을 검토한다. 다중모달 EHR 융합에 관한 94개의 연구를 분석하여 핵심 기법, 데이터 통합의 과제, 더 정확하고 견고한 임상 AI 시스템을 위한 향후 연구 방향을 규명한다.

ABSTRACT

Background: Electronic Health Records (EHRs) contain rich information of patients' health history, which usually include both structured and unstructured data. There have been many studies focusing on distilling valuable information from structured data, such as disease codes, laboratory test results, and treatments. However, relying on structured data only might be insufficient in reflecting patients' comprehensive information and such data may occasionally contain erroneous records. Objective: With the recent advances of machine learning (ML) and deep learning (DL) techniques, an increasing number of studies seek to obtain more accurate results by incorporating unstructured free-text data as well. This paper reviews studies that use multimodal data, i.e. a combination of structured and unstructured data, from EHRs as input for conventional ML or DL models to address the targeted tasks. Materials and Methods: We searched in the Institute of Electrical and Electronics Engineers (IEEE) Digital Library, PubMed, and Association for Computing Machinery (ACM) Digital Library for articles related to ML-based multimodal EHR studies. Results and Discussion: With the final 94 included studies, we focus on how data from different modalities were combined and interacted using conventional ML and DL techniques, and how these algorithms were applied in EHR-related tasks. Further, we investigate the advantages and limitations of these fusion methods and indicate future directions for ML-based multimodal EHR research.

연구 동기 및 목표

• 기계학습 및 딥러닝 기법을 사용하여 구조화된 및 비구조화된 EHR 데이터의 통합을 검토하기.
• 임상 예측 작업에서 효과적인 공통 융합 전략을 특정하기.
• 현재의 다중모달 EHR 연구에서의 한계, 특히 데이터 품질 및 모델 해석 가능성 문제를 부각하기.
• 다중모달 EHR 기반 기계학습 연구의 방법론적 추세와 열린 과제에 대한 종합적 개요 제공하기.
• 모델 성능 향상과 임상 적용 가능성 향상을 위한 주요 연구 방향을 제시하여 향후 연구를 이끌기.

제안 방법

• IEEE Xplore, PubMed, ACM 디지털 라이브러리에서 ML 기반 다중모달 EHR 연구를 대상으로 체계적 문헌 검색 수행.
• 구조화된(예: 검사 결과, 진단 코드) 및 비구조화된(예: 임상 노트) EHR 데이터를 모두 사용한 94개의 연구 포함.
• 다중모달 학습 파이프라인에서 조기, 후기, 하이브리드 통합 전략으로 분류된 융합 방법 분류.
• 다중모달 EHR 표현 학습을 위한 딥러닝 아키텍처 분석, 예를 들어 조기 연결, 어텐션 메커니즘, 후기 융합 모델.
• 질병 예측, 위험 분류, 표현형 분류와 같은 임상 과제에서의 모델 성능 평가.
• 데이터 이질성, 누락된 모odal, 모델 해석 가능성과 같은 기술적 및 임상 과제 식별.

실험 결과

연구 질문

• RQ1 기존 기계학습 모델은 구조화된 및 비구조화된 EHR 데이터를 어떻게 조합하여 임상 예측을 수행하는가?
• RQ2 다중모달 EHR 학습에서 가장 효과적인 융합 전략(조기, 후기, 또는 하이브리드)은 무엇인가?
• RQ3 현재 다중모달 EHR 연구에서의 핵심 한계와 과제는 무엇인가?
• RQ4 다양한 임상 과제에서 다중모달 EHR 입력을 사용한 다양한 모델 아키텍처는 어떻게 성능을 내는가?
• RQ5 다중모달 EHR 기반 임상 AI를 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 조기 및 후기 통합 전략을 조합한 하이브리드 융합 방법은 여러 연구에서 단일 모드 접근법보다 향상된 성능을 보였다.
• 어텐션 메커니즘은 비구조화된 텍스트 특징의 중요도를 가중치로 부여하는 데 자주 사용되어 모델의 해석 가능성과 성능을 향상시켰다.
• 구조화된 데이터만 사용하는 연구에 비해, 구조화된 및 비구조화된 데이터를 모두 사용한 연구는 질병 예측 과제에서 일관되게 높은 성능을 보였다.
• 실제 EHR 시스템에서 특히 모달 간 데이터 누락 또는 일관성 없는 문제를 다루는 데 여전히 큰 과제가 존재한다.
• 높은 예측 정확도에도 불구하고, 모델의 해석 가능성과 임상 적용 가능성은 빈번히 한계로 지적되었다.
• 향후 연구는 데이터 이질성에 대응하고 실무에서 임상 의사결정 지원을 가능하게 하는 견고하고 일반화 가능한 모델 개발을 우선시해야 한다.