[論文レビュー] Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM

Hejie Cui, Xinyu Fang+4 more|arXiv (Cornell University)|Feb 19, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、ハイパーグラフニューラルネットワーク内での2段階の意味統合戦略を用いて、構造化されたEHRデータと臨床ノートを統合するマルチモーダル融合フレームワークMINGLEを提案する。大規模言語モデル（LLMs）を活用して医療用語の意味的表現と臨床ノートの意味的表現を豊かにすることで、訪問単位の表現学習を向上させ、ベースラインと比較して2つのEHRデータセットで11.83%の相対的性能向上を達成した。

ABSTRACT

Electronic Health Records (EHRs) have become increasingly popular to support clinical decision-making and healthcare in recent decades. EHRs usually contain heterogeneous information, such as structural data in tabular form and unstructured data in textual notes. Different types of information in EHRs can complement each other and provide a more complete picture of the health status of a patient. While there has been a lot of research on representation learning of structured EHR data, the fusion of different types of EHR data (multimodal fusion) is not well studied. This is mostly because of the complex medical coding systems used and the noise and redundancy present in the written notes. In this work, we propose a new framework called MINGLE, which integrates both structures and semantics in EHR effectively. Our framework uses a two-level infusion strategy to combine medical concept semantics and clinical note semantics into hypergraph neural networks, which learn the complex interactions between different types of data to generate visit representations for downstream prediction. Experiment results on two EHR datasets, the public MIMIC-III and private CRADLE, show that MINGLE can effectively improve predictive performance by 11.83% relatively, enhancing semantic integration as well as multimodal fusion for structural and textual EHR data.

研究の動機と目的

• 異種の構造化データと非構造化臨床ノートを統合することにより、EHRにおけるマルチモーダル統合の課題に取り組むこと。
• 既存手法がEHRデータを孤立して扱うという限界、特に医療コードと臨床ノートの意味的統合が不足している点を克服すること。
• 医療用語の意味的表現と臨床ノートの意味的表現をハイパーグラフベースのモデルに統合することで、患者訪問の表現学習を向上させること。
• 大規模言語モデル（LLMs）の文脈理解力とドメイン知識を活用し、臨床予測タスクにおける意味的表現を改善すること。
• EHR内の複雑な高次元相互作用をモデル化するとともに、構造化コードとテキストノートの両方からの豊富な意味的信号を統合する統一フレームワークを構築すること。

提案手法

• MINGLEは、医療コードと患者訪問間の高次元相互作用をモデル化するため、ハイパーグラフニューラルネットワークをバックボーンとして採用する。
• 2段階の意味統合戦略を導入：まず、LLMが生成する埋め込みを用いて医療用語名の意味的表現をハイパーグラフ構造に統合し、次にLLMによる符号化を介して臨床ノートの意味的表現を統合する。
• 医療用語の意味的表現は、LLMに用語名（例：「アンジオトロピンII受容体ブロッカー」）をプロンプトとして与え、文脈に応じた埋め込みを生成することで得る。
• 臨床ノートの意味的表現はLLMを用いて重要情報を抽出し、学習可能なアテンション機構を介してハイパーグラフ表現に統合する。
• 意味的視点と構造的視点を一致させるために、対照学習の目的関数を通じて構造的表現と意味的表現を同時に最適化する。
• 次元比ハイパラメータが、最終表現における構造的埋め込みと意味的埋め込みの寄与のバランスを制御する。

実験結果

リサーチクエスチョン

• RQ1 LLMから得られる医療用語の意味的表現の統合は、ハイパーグラフモデルにおける構造化EHRデータの表現を向上させるか？
• RQ2 LLMを介した臨床ノートの意味的表現の統合は、マルチモーダルEHRモデルの予測性能にどのように影響するか？
• RQ3 2段階の意味統合戦略は、より頑健で臨床的に解釈可能な患者訪問表現をもたらすか？
• RQ4 実世界のEHRデータセットにおいて、MINGLEは複数の指標で既存のベースラインと比較してどのように性能を発揮するか？
• RQ5 LLMから得られる意味的表現は、EHRハイパーグラフにおける臨床的に関連するノードの同定をどの程度向上させるか？

主な発見

• MINGLEは、MIMIC-IIIおよびCRADLEの2つのEHRデータセットにおいて、ベースラインと比較して11.83%の相対的性能向上を達成した。
• MIMIC-IIIでは、すべてのベースラインの中で最高のF1スコアを記録し、不均衡データに対して優れた性能を示した。
• アブレーションスタディの結果、医療用語の意味的表現を削除すると性能が著しく低下し、構造化EHRデータのモデリングにおいてその重要性が示された。
• 臨床ノートの意味的表現の影響は、より洗練され、医療用語に焦点を当てたノートを含むCRADLEデータセットで顕著に現れ、文脈の質が統合効果に影響を与えることが示唆された。
• ケーススタディでは、MINGLEがベースラインモデルが見逃していた臨床的に関連する疾患ノード（例：「心不全」、「心律不全」）を同定し、予測推論を向上させた。
• MINGLEは、手術後の不整脈や薬剤の副作用といった、ノートからの重要な臨床情報を効果的に抽出できており、文脈理解の向上が確認された。