[논문 리뷰] Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM

Hejie Cui, Xinyu Fang외 4명|arXiv (Cornell University)|2024. 02. 19.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 구조화된 EHR 데이터와 임상 노트를 하이퍼그래프 신경망 내에서 이중 수준의 의미 보강 전략을 사용해 통합하는 다중모odal 융합 프레임워크인 MINGLE을 제안한다. 대규모 언어 모델(Large Language Models, LLMs)을 활용해 의료 개념의 의미와 임상 노트의 의미를 풍부하게 한 MINGLE는 방문 수준의 표현 학습을 향상시켜 기준 모델 대비 두 개의 EHR 데이터셋에서 11.83%의 상대적 성능 향상을 달성한다.

ABSTRACT

Electronic Health Records (EHRs) have become increasingly popular to support clinical decision-making and healthcare in recent decades. EHRs usually contain heterogeneous information, such as structural data in tabular form and unstructured data in textual notes. Different types of information in EHRs can complement each other and provide a more complete picture of the health status of a patient. While there has been a lot of research on representation learning of structured EHR data, the fusion of different types of EHR data (multimodal fusion) is not well studied. This is mostly because of the complex medical coding systems used and the noise and redundancy present in the written notes. In this work, we propose a new framework called MINGLE, which integrates both structures and semantics in EHR effectively. Our framework uses a two-level infusion strategy to combine medical concept semantics and clinical note semantics into hypergraph neural networks, which learn the complex interactions between different types of data to generate visit representations for downstream prediction. Experiment results on two EHR datasets, the public MIMIC-III and private CRADLE, show that MINGLE can effectively improve predictive performance by 11.83% relatively, enhancing semantic integration as well as multimodal fusion for structural and textual EHR data.

연구 동기 및 목표

• 이질적인 구조화된 데이터와 비구조화된 임상 노트를 통합함으로써 EHR에서의 다중모달 융합 문제를 해결하기 위해.
• 기존 방법들이 EHR 데이터를 고립적으로 다루며, 특히 의료 코드와 임상 노트에 대한 의미 통합의 부재로 인해 발생하는 한계를 극복하기 위해.
• 의료 개념의 의미와 임상 노트의 의미를 하이퍼그래프 기반 모델에 융합함으로써 환자 방문의 표현 학습을 향상시키기 위해.
• 대규모 언어 모델(Large Language Models, LLMs)의 문맥 이해력과 도메인 지식을 활용해 임상 예측 작업에서 더 나은 의미 표현을 향상시키기 위해.
• 복잡한 고차원 상호작용을 모델링하면서도, 구조화된 코드와 텍스트 노트 양측에서 풍부한 의미 신호를 통합하는 통합 프레임워크를 개발하기 위해.

제안 방법

• MINGLE는 의료 코드와 환자 방문 간의 고차원 상호작용을 모델링하기 위해 하이퍼그래프 신경망을 백본으로 사용한다.
• 이중 수준의 의미 보강 전략을 도입한다: 먼저 LLM 생성 임베딩을 통해 의료 개념 이름의 의미를 하이퍼그래프 구조에 통합하고, 그 다음 LLM 기반 인코딩을 통해 임상 노트의 의미를 융합한다.
• 의료 개념의 의미는 개념 이름(예: '안지오텐신 II 수용체 차단제')을 프롬프팅하여 LLM으로부터 생성된 문맥 임베딩을 통해 유도된다.
• 임상 노트의 의미는 LLM을 사용해 주요 정보를 추출한 후, 학습 가능한 어텐션 메커니즘을 통해 하이퍼그래프 표현에 융합된다.
• 구조적 표현과 의미적 표현을 동시에 최적화하기 위해 대비 학습 목표를 사용하여 의미적 및 구조적 시각 간의 정렬을 유도한다.
• 차원 비율 하이퍼파rameter는 최종 표현에서 구조적 표현과 의미적 표현 기여도의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 LLMs에서 유도한 의료 개념의 의미 통합이 하이퍼그래프 모델 내에서 구조화된 EHR 데이터의 표현을 향상시키는가?
• RQ2 LLMs를 통한 임상 노트 의미 융합이 다중모달 EHR 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 이중 수준의 의미 보강 전략은 더 견고하고 임상적으로 해석 가능한 환자 방문 표현을 제공하는가?
• RQ4 실제 세계의 EHR 데이터셋에서 다양한 지표를 기준으로 MINGLE가 기존 기준 모델 대비 성능에서 어떻게 비교되는가?
• RQ5 LLM에서 유도한 의미 정보는 EHR 하이퍼그래프에서 임상적으로 관련성이 높은 노드 식별에 얼마나 기여하는가?

주요 결과

• MINGLE는 MIMIC-III와 CRADLE 두 개의 EHR 데이터셋에서 기준 모델 대비 11.83%의 상대적 성능 향상을 달성한다.
• MIMIC-III에서 MINGLE는 모든 기준 모델 중 가장 높은 F1 스코어를 기록하여 불균형 데이터에서 뛰어난 성능을 입증한다.
• 제거 실험에서는 의료 개념의 의미를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이 요소가 구조화된 EHR 데이터 모델링에서 핵심적인 역할을 함을 시사한다.
• 임상 노트의 의미 영향은 CRADLE 데이터셋에서 더 두드러지며, 이는 더 깔끔하고 의료 개념 중심의 노트를 포함하고 있기 때문에, 문맥 품질이 융합 효과에 영향을 미칠 수 있음을 시사한다.
• 사례 연구를 통해 MINGLE는 기준 모델이 간과하는 임상적으로 관련성이 높은 질환 노드(예: '심부전', '심장 부정맥')를 식별함으로써 예측 추론 능력을 향상시켰다.
• MINGLE는 수술 후 부정맥이나 약물 부작용과 같은 핵심 임상 정보를 효과적으로 추출하여 더 향상된 문맥 이해 능력을 입증했다.