[논문 리뷰] REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

Yinghao Zhu, Changyu Ren외 9명|arXiv (Cornell University)|2024. 02. 10.

Topic Modeling인용 수 11

한 줄 요약

REALM은 길어진 맥락의 임상 노트, 시계열 EHR 데이터, 전문 의료 지식 그래프를 통합하기 위해 retrieval-augmented generation 프레임워크를 활용하여 다중 모달 EHR 예측을 개선하고, 환각을 줄이며 임상 작업 성능을 향상시킵니다.

ABSTRACT

The integration of multimodal Electronic Health Records (EHR) data has significantly improved clinical predictive capabilities. Leveraging clinical notes and multivariate time-series EHR, existing models often lack the medical context relevent to clinical tasks, prompting the incorporation of external knowledge, particularly from the knowledge graph (KG). Previous approaches with KG knowledge have primarily focused on structured knowledge extraction, neglecting unstructured data modalities and semantic high dimensional medical knowledge. In response, we propose REALM, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR representations that address these limitations. Firstly, we apply Large Language Model (LLM) to encode long context clinical notes and GRU model to encode time-series EHR data. Secondly, we prompt LLM to extract task-relevant medical entities and match entities in professionally labeled external knowledge graph (PrimeKG) with corresponding medical knowledge. By matching and aligning with clinical standards, our framework eliminates hallucinations and ensures consistency. Lastly, we propose an adaptive multimodal fusion network to integrate extracted knowledge with multimodal EHR data. Our extensive experiments on MIMIC-III mortality and readmission tasks showcase the superior performance of our REALM framework over baselines, emphasizing the effectiveness of each module. REALM framework contributes to refining the use of multimodal EHR data in healthcare and bridging the gap with nuanced medical context essential for informed clinical predictions.

연구 동기 및 목표

• 외부 의학 지식을 다중 모달 EHR 데이터와 통합하여 임상 예측의 향상을 촉진합니다.
• 노트와 시계열에서 엔티티를 추출 및 정렬하고 이를 전문 KG와 매칭하는 RAG 주도 프레임워크를 제안하여 환각을 줄입니다.
• 다운스트림 작업을 위한 지식 기반 표현을 통합하는 적응형 멀티모달 융합 네트워크를 개발합니다.

제안 방법

• GRU로 시계열 EHR를 인코딩하여 hTS를 얻습니다.
• 긴 컨텍스트 LLM으로 임상 노트를 인코딩하여 hText를 얻습니다.
• LLM 프롬프트와 규칙 기반 검증을 사용하여 노트와 시계열에서 질병 엔티티를 추출합니다.
• 추출된 엔티티를 Dense 벡터 검색과 임계값 η를 사용하여 PrimeKG의 노드와 매칭합니다.
• 검색된 지식을 LLM으로 인코딩하여 hRAG를 얻습니다.
• hTS, hText, hRAG를 self-/cross-attention 융합 네트워크로 융합해 z를 만들고 y를 예측합니다.

실험 결과

연구 질문

• RQ1 RAG 주도 프레임워크가 비구조적(임상 노트) 및 구조적(시계열) EHR 데이터와 외부 의학 지식을 효과적으로 통합해 임상 예측 과제에 기여할 수 있는가?
• RQ2 엔티티 추출과 KG 매칭이 LLM의 환각을 줄이고 EHR 분석의 예측 신뢰성을 향상시키는가?
• RQ3 적응형 멀티모달 융합과 현대 텍스트 임베딩이 사망률 및 재입원 과제에 미치는 영향은 무엇인가?
• RQ4 임상 데이터 세트의 데이터 희소성에 대해 REALM은 얼마나 견고한가?

주요 결과

Methods	Mortality AUROC	Mortality AUPRC	Mortality min(+P, Se)	Mortality F1	Readmission AUROC	Readmission AUPRC	Readmission min(+P, Se)	Readmission F1
MPIM	85.24±1.12	50.52±2.56	50.59±2.33	30.53±2.33	78.62±1.58	49.30±3.01	49.65±2.54	26.61±2.20
UMM	84.01±1.10	49.76±2.21	49.41±2.45	36.21±1.90	77.46±1.36	47.81±2.55	47.27±1.91	34.14±2.21
VecoCare	83.43±1.49	47.28±2.68	47.92±2.22	42.52±2.08	76.93±1.82	46.18±2.76	47.22±2.63	38.79±2.27
M3Care	83.33±1.24	47.86±2.33	49.96±1.99	24.81±2.62	76.80±1.55	46.29±2.62	45.38±2.32	21.51±2.23
GRAM	84.70±1.34	49.21±4.45	49.64±2.85	38.02±3.19	77.84±1.49	47.97±3.68	46.95±2.12	35.24±2.89
KAME	84.59±1.11	49.48±3.37	49.51±2.33	36.14±2.24	78.04±1.34	48.23±3.21	47.41±2.50	31.70±2.19
CGL	84.20±1.16	47.64±3.47	47.67±2.61	38.36±2.04	77.47±1.33	46.68±3.33	47.73±2.25	35.34±2.35
KerPrint	85.29±1.21	51.23±3.48	50.88±2.24	37.00±3.54	78.41±1.50	49.70±3.23	49.39±2.53	34.31±2.35
Ours (REALM)	86.22±0.81	52.64±2.47	50.92±2.01	51.83±2.10	80.24±1.53	52.06±2.64	51.20±2.50	50.58±2.51
Ours	85.18±0.95	50.68±2.64	47.90±2.27	49.81±2.37	78.79±1.47	49.69±2.92	51.20±2.50	50.58±2.51

• REALM은 MIMIC-III에서 기준선 대비 사망률 및 재입원 예측 성능을 향상시킵니다 (AUROC, AUPRC, min(+P, Se), F1).
• RAG를 강화한 시계열 및 텍스트 모달리티가 비-RAG 모듈과 비교하여 성능을 크게 향상시킵니다.
• 긴 컨텍스트 임상 노트 임베딩에 Qwen-7B를 사용하면 테스트된 텍스트 인코더 중 우수한 결과를 얻습니다.
• 자기- 및 교차 주의력으로의 적응형 멀티모달 융합은 모달리티의 우수한 통합을 제공합니다.
• REALM은 데이터 희소성에 대한 강건성을 보이고 검색 품질이 높은 엔티티 신호를 유지합니다(엔티티 중요도 분석).