[論文レビュー] REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

Yinghao Zhu, Changyu Ren+9 more|arXiv (Cornell University)|Feb 10, 2024

Topic Modeling被引用数 11

ひとこと要約

REALMは長-context臨床ノート、時系列EHRデータ、および専門的な医療知識グラフを統合するretrieval-augmented generationフレームワークを用いて、マルチモーダルEHR予測を改善し、幻覚を減らし、臨床タスクの性能を向上させます。

ABSTRACT

The integration of multimodal Electronic Health Records (EHR) data has significantly improved clinical predictive capabilities. Leveraging clinical notes and multivariate time-series EHR, existing models often lack the medical context relevent to clinical tasks, prompting the incorporation of external knowledge, particularly from the knowledge graph (KG). Previous approaches with KG knowledge have primarily focused on structured knowledge extraction, neglecting unstructured data modalities and semantic high dimensional medical knowledge. In response, we propose REALM, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR representations that address these limitations. Firstly, we apply Large Language Model (LLM) to encode long context clinical notes and GRU model to encode time-series EHR data. Secondly, we prompt LLM to extract task-relevant medical entities and match entities in professionally labeled external knowledge graph (PrimeKG) with corresponding medical knowledge. By matching and aligning with clinical standards, our framework eliminates hallucinations and ensures consistency. Lastly, we propose an adaptive multimodal fusion network to integrate extracted knowledge with multimodal EHR data. Our extensive experiments on MIMIC-III mortality and readmission tasks showcase the superior performance of our REALM framework over baselines, emphasizing the effectiveness of each module. REALM framework contributes to refining the use of multimodal EHR data in healthcare and bridging the gap with nuanced medical context essential for informed clinical predictions.

研究の動機と目的

• 外部の医療知識とマルチモーダルEHRデータを統合して臨床予測を改善する動機づけ。
• 臨床ノートと時系列データからエンティティを抽出・整合させ、誤情報を減らすためのRAG駆動フレームワークを提案する。
• 下流タスクのために知識-grounded表現を統合する適応的マルチモーダル融合ネットワークを開発する。

提案手法

• 時系列EHRをGRUでエンコードしてhTSを取得。
• 臨床ノートをLong Context LLMでエンコードしてhTextを取得。
• ノートと時系列から疾病エンティティをLLMプロンプトとルールベース検証で抽出。
• 抽出エンティティを密ベクトル検索と閾値ηを用いてPrimeKGのノードと照合。
• retrieved knowledgeをLLMでエンコードしてhRAGを取得。
• hTS、hText、およびhRAGを自己/交差注意力融合ネットワークで融合してzを生成しyを予測。

実験結果

リサーチクエスチョン

• RQ1 RAG駆動フレームワークは、非構造化（臨床ノート）と構造化（時系列）EHRデータを外部医療知識と効果的に統合して臨床予測タスクを達成できるか。
• RQ2 エンティティ抽出とKGマッチングはLLMの幻覚を減らし、EHR分析の予測信頼性を向上させるか。
• RQ3 適応的マルチモーダル融合と現代的なテキスト埋め込みは死亡率と再入院タスクにどのような影響を及ぼすか。
• RQ4 REALMは臨床データのデータ希少性に対してどれだけ頑健か。

主な発見

手法	死亡率 AUROC	死亡率 AUPRC	死亡率 min(+P, Se)	死亡率 F1	再入院 AUROC	再入院 AUPRC	再入院 min(+P, Se)	再入院 F1
MPIM	85.24±1.12	50.52±2.56	50.59±2.33	30.53±2.33	78.62±1.58	49.30±3.01	49.65±2.54	26.61±2.20
UMM	84.01±1.10	49.76±2.21	49.41±2.45	36.21±1.90	77.46±1.36	47.81±2.55	47.27±1.91	34.14±2.21
VecoCare	83.43±1.49	47.28±2.68	47.92±2.22	42.52±2.08	76.93±1.82	46.18±2.76	47.22±2.63	38.79±2.27
M3Care	83.33±1.24	47.86±2.33	49.96±1.99	24.81±2.62	76.80±1.55	46.29±2.62	45.38±2.32	21.51±2.23
GRAM	84.70±1.34	49.21±4.45	49.64±2.85	38.02±3.19	77.84±1.49	47.97±3.68	46.95±2.12	35.24±2.89
KAME	84.59±1.11	49.48±3.37	49.51±2.33	36.14±2.24	78.04±1.34	48.23±3.21	47.41±2.50	31.70±2.19
CGL	84.20±1.16	47.64±3.47	47.67±2.61	38.36±2.04	77.47±1.33	46.68±3.33	47.73±2.25	35.34±2.35
KerPrint	85.29±1.21	51.23±3.48	50.88±2.24	37.00±3.54	78.41±1.50	49.70±3.23	49.39±2.53	34.31±2.35
Ours (REALM)	86.22±0.81	52.64±2.47	50.92±2.01	51.83±2.10	80.24±1.53	52.06±2.64	51.20±2.50	50.58±2.51
Ours	85.18±0.95	50.68±2.64	47.90±2.27	49.81±2.37	78.79±1.47	49.69±2.92	51.20±2.50	50.58±2.51

• REALMはMIMIC-IIIにおける死亡率および再入院予測性能をベースラインより向上させる（AUROC、AUPRC、min(+P, Se)、F1）。
• RAGを強化した時系列およびテキストのモダリティは、非RAG対応と比較して性能を大幅に向上させる。
• 長文ノート埋め込みにはQwen-7Bを使用すると、テストされたテキストエンコーダの中で優れた結果を示す。
• 自己・交差注意力を用いた適応的マルチモーダル融合はモダリティの統合を優位に導く。
• REALMはデータ希少性に対して頑健で、エンティティ信号の retrieval品質を高いまま維持する（エンティティ重要度を分析）。