[论文解读] medIKAL: Integrating Knowledge Graphs as Assistants of LLMs for Enhanced Clinical Diagnosis on EMRs

Mingyi Jia, Junwen Duan+2 more|arXiv (Cornell University)|Jun 20, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

medIKAL 提出了一种新颖的框架，通过将知识图谱（KGs）作为外部助手集成到大型语言模型（LLMs）中，以提升电子病历（EMRs）中的临床诊断性能。通过为医学实体分配基于类型的权重，并采用受残差网络启发的融合方法，medIKAL 减少了 LLM 对 KG 的过度依赖，同时提升了诊断准确率，在一个新的中文 EMR 数据集上实现了 36.93 的 F1 得分。

ABSTRACT

Electronic Medical Records (EMRs), while integral to modern healthcare, present challenges for clinical reasoning and diagnosis due to their complexity and information redundancy. To address this, we proposed medIKAL (Integrating Knowledge Graphs as Assistants of LLMs), a framework that combines Large Language Models (LLMs) with knowledge graphs (KGs) to enhance diagnostic capabilities. medIKAL assigns weighted importance to entities in medical records based on their type, enabling precise localization of candidate diseases within KGs. It innovatively employs a residual network-like approach, allowing initial diagnosis by the LLM to be merged into KG search results. Through a path-based reranking algorithm and a fill-in-the-blank style prompt template, it further refined the diagnostic process. We validated medIKAL's effectiveness through extensive experiments on a newly introduced open-sourced Chinese EMR dataset, demonstrating its potential to improve clinical diagnosis in real-world settings.

研究动机与目标

• 为解决现有 LLM-KG 集成方法在 EMR 诊断中的局限性，特别是对外部知识的过度依赖以及对冗余、复杂的 EMR 数据处理能力不足的问题。
• 开发一种框架，利用 KG 中的结构化知识，同时保留并整合 LLM 内部的医学知识。
• 通过基于实体类型的加权机制和基于路径的重排序方法，提升在信息密集且冗余的 EMR 上的诊断性能。
• 引入一个全新的开源高质量中文 EMR 数据集（CMEMR），以支持未来临床 NLP 领域的研究。
• 通过平衡 LLM 生成的预测与 KG 增强的推理，最小化幻觉现象并提升容错能力。

提出的方法

• 为 EMR 中的实体分配基于类型的权重，优先考虑临床相关术语（如症状、诊断）在 KG 检索中的重要性，从而提升候选疾病定位的精度。
• 采用类似残差网络的机制，先由 LLM 独立生成初始诊断，再将该结果与 KG 检索结果融合，以减少对外部知识的过度依赖。
• 应用基于路径的重排序算法，根据 KG 中的语义路径对候选疾病进行排序，提升诊断精度。
• 使用填空式提示模板引导 LLM 进行错误纠正与推理，提升推理质量。
• 在实体链接与 KG 检索前，通过摘要化处理 EMR 以减少冗余信息。
• 通过晚期融合策略整合 LLM 与 KG 的输出，保留 LLM 中有用的预测结果，同时利用 KG 证据纠正错误。

实验结果

研究问题

• RQ1 基于类型的实体加权方法是否能提升在 EMR 诊断中从知识图谱检索候选疾病时的精确度？
• RQ2 LLM 与 KG 输出的残差式集成是否能减少对外部知识的过度依赖，并保留 LLM 内部有用的预测？
• RQ3 与基线检索方法相比，基于路径的重排序在多大程度上提升了诊断排序性能？
• RQ4 填空式提示模板在提升 LLM 临床诊断中的推理能力与错误纠正效果方面有多有效？
• RQ5 所提出的框架是否能在稀疏或低信息量的 EMR 输入上保持高性能？

主要发现

• medIKAL 在 CMEMR 数据集上取得了 36.93 的 F1 得分，显著优于基线方法，诊断准确率更高。
• 消融实验表明，若移除实体类型加权（w/o ETW），F1 降至 34.63，证明其在过滤噪声和聚焦相关实体方面具有关键作用。
• 移除残差集成模块（w/o RI）导致性能下降最大（F1: 34.55），证实其在平衡 LLM 与 KG 贡献方面的重要性。
• 移除摘要化模块（w/o SUM）使性能降至 F1: 36.39，表明减少冗余信息可提升下游任务效率。
• medIKAL 保留了 78% 的有用 LLM 预测结果，显著高于基线模型，表明其对外部 KG 知识的依赖程度更低。
• 案例研究证实，medIKAL 能够纠正 LLM 的幻觉现象，补全缺失知识，并在复杂诊断场景中有效引导推理。