[論文レビュー] medIKAL: Integrating Knowledge Graphs as Assistants of LLMs for Enhanced Clinical Diagnosis on EMRs

Mingyi Jia, Junwen Duan+2 more|arXiv (Cornell University)|Jun 20, 2024

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

medIKALは、電子カルテ（EMR）における臨床診断の向上を目的として、大規模言語モデル（LLM）に知識グラフ（KG）を外部アシスタントとして統合する画期的なフレームワークを提案する。医療エンティティのタイプに基づく重み付けと、リサンプルネットワークにインspiredされた統合手法を採用することで、LLMがKGに過度に依存するのを軽減するとともに、診断精度を向上させ、新規の中国語EMRデータセットで36.93のF1スコアを達成した。

ABSTRACT

Electronic Medical Records (EMRs), while integral to modern healthcare, present challenges for clinical reasoning and diagnosis due to their complexity and information redundancy. To address this, we proposed medIKAL (Integrating Knowledge Graphs as Assistants of LLMs), a framework that combines Large Language Models (LLMs) with knowledge graphs (KGs) to enhance diagnostic capabilities. medIKAL assigns weighted importance to entities in medical records based on their type, enabling precise localization of candidate diseases within KGs. It innovatively employs a residual network-like approach, allowing initial diagnosis by the LLM to be merged into KG search results. Through a path-based reranking algorithm and a fill-in-the-blank style prompt template, it further refined the diagnostic process. We validated medIKAL's effectiveness through extensive experiments on a newly introduced open-sourced Chinese EMR dataset, demonstrating its potential to improve clinical diagnosis in real-world settings.

研究の動機と目的

• 既存のLLM-KG統合手法がEMR診断において抱える限界、特に外部知識への過度な依存と、冗長的で複雑なEMRデータの処理が不十分である点を是正すること。
• 構造化されたKGの知識を活用しつつ、LLMが内蔵する医療知識を保持・統合するフレームワークの構築。
• エンティティタイプに応じた重み付けと経路ベースのリランク手法を用いることで、情報量が多く冗長なEMRにおける診断性能の向上。
• 今後の臨床NLP研究を支援するため、オープンソースで高品質な中国語EMRデータセット（CMEMR）を提供すること。
• LLMの予測とKGによる推論をバランスさせることで、幻覚現象を低減し、故障耐性を向上させること。

提案手法

• EMR内のエンティティにタイプベースの重みを付与することで、KG検索時に臨床的に関連性の高い用語（例：症状、診断）を優先し、候補疾患の特定精度を向上させる。
• リサンプルネットワークに類似したメカニズムを採用し、まずLLMが独立して初期診断を生成した後、その結果とKG検索結果を統合することで、外部知識への過度な依存を軽減する。
• KG内の意味的経路に基づいて候補疾患をリランクするアルゴリズムを適用し、診断の正確性を向上させる。
• 穴埋め形式のプロンプトテンプレートを用いてLLMの誤り訂正と推論を誘導し、推論品質を向上させる。
• エンティティリンクとKG検索の前処理として、EMRを要約することで冗長性を低減する。
• LLMとKGの出力を、LLMの有用な予測を保持しつつ、KGの証拠で誤りを是正する、ラテント統合戦略で統合する。

実験結果

リサーチクエスチョン

• RQ1 エンティティタイプに応じた重み付け手法は、EMR診断におけるKGからの候補疾患抽出の精度を向上させることができるか？
• RQ2 LLMとKG出力のリサイクルスタイル統合は、外部知識への過度な依存を軽減し、有用なLLM内部予測を保持することができるか？
• RQ3 パスベースのリランク手法は、ベースライン検索手法と比較して、どの程度診断順序の性能を向上させるか？
• RQ4 穴埋め形式のプロンプトテンプレートは、臨床診断におけるLLMの推論と誤り訂正の効果をどの程度高めるか？
• RQ5 提案フレームワークは、情報が乏しいまたは低情報量のEMR入力に対しても高い性能を維持できるか？

主な発見

• medIKALはCMEMRデータセットでF1スコア36.93を達成し、ベースライン手法と比較して顕著に高い診断精度を示した。
• アブレーションスタディの結果、エンティティタイプ重み付けの削除（w/o ETW）によりF1スコアは34.63に低下し、ノイズのフィルタリングと関連エンティティへの集中が重要であることが示された。
• リサイクル統合モジュールの削除（w/o RI）により、性能低下が最大となり（F1: 34.55）、LLMとKGの貢献バランスを保つ上でその重要性が確認された。
• 要約モジュールの削除（w/o SUM）により、F1スコアは36.39に低下し、冗長性の低減が下流タスクの効率を向上させることを示した。
• medIKALは有用なLLM予測の78％を保持しており、ベースラインと比較して顕著に高い水準であり、KG知識への過度な依存が軽減されたことが示された。
• 事例研究により、medIKALがLLMの幻覚現象を是正し、欠落した知識を補完し、特に複雑な診断状況において推論を支援できることを確認した。