[论文解读] HyKGE: A Hypothesis Knowledge Graph Enhanced Framework for Accurate and Reliable Medical LLMs Responses

Xinke Jiang, Ruizhe Zhang+9 more|arXiv (Cornell University)|Dec 26, 2023

Topic Modeling被引用 5

一句话总结

HyKGE 是一种新颖的框架，通过将假设生成与知识图谱（KG）检索相结合，提升医学大语言模型（LLM）的准确性与可靠性。它利用 LLM 从模糊查询中生成结构化假设，将这些假设与 KG 实体对齐以实现目标检索，并应用片段重排序模块以优化结果——在医学问答基准测试中表现优异，显著减少幻觉现象并提升可解释性。

ABSTRACT

In this paper, we investigate the retrieval-augmented generation (RAG) based on Knowledge Graphs (KGs) to improve the accuracy and reliability of Large Language Models (LLMs). Recent approaches suffer from insufficient and repetitive knowledge retrieval, tedious and time-consuming query parsing, and monotonous knowledge utilization. To this end, we develop a Hypothesis Knowledge Graph Enhanced (HyKGE) framework, which leverages LLMs' powerful reasoning capacity to compensate for the incompleteness of user queries, optimizes the interaction process with LLMs, and provides diverse retrieved knowledge. Specifically, HyKGE explores the zero-shot capability and the rich knowledge of LLMs with Hypothesis Outputs to extend feasible exploration directions in the KGs, as well as the carefully curated prompt to enhance the density and efficiency of LLMs' responses. Furthermore, we introduce the HO Fragment Granularity-aware Rerank Module to filter out noise while ensuring the balance between diversity and relevance in retrieved knowledge. Experiments on two Chinese medical multiple-choice question datasets and one Chinese open-domain medical Q&A dataset with two LLM turbos demonstrate the superiority of HyKGE in terms of accuracy and explainability.

研究动机与目标

• 通过整合外部知识图谱，解决医学 LLM 中的事实性错误与幻觉问题。
• 在用户查询模糊或不完整时，提升查询与高质量结构化知识之间的对齐程度。
• 通过实现一次完成的假设驱动检索，减少对多次 LLM 交互的依赖。
• 提升 LLM 在临床决策场景中响应的可解释性与可靠性。
• 开发一种框架，利用经过验证的知识图谱证据纠正 LLM 输出中的错误知识。

提出的方法

• 利用 LLM 的零样本推理能力，从不完整或模糊的用户查询中生成全面的假设文档。
• 利用生成的假设识别知识图谱中的锚点实体与关系，实现目标化检索。
• 应用片段重排序模块，重新组织并融合来自 KG 的短知识片段，以提升其与假设及查询的一致性。
• 整合分层本体（HO）与知识图谱（KG），以验证并纠正 LLM 生成的错误或不合逻辑的响应。
• 采用两阶段流程：预检索阶段的假设生成与后检索阶段的优化，以最小化噪声并提升精度。
• 使用自然语言提示引导 LLM 生成更丰富、更受约束的假设，从而减少对迭代交互的需求。

Figure 1. HyKGE Example.

实验结果

研究问题

• RQ1 LLM 生成的假设能否提升用户查询与高质量知识图谱实体之间的对齐程度？
• RQ2 当用户查询模糊或约束不足时，如何使知识图谱检索更高效、更准确？
• RQ3 片段重排序模块在多大程度上可通过优化 KG 中的短片段提升检索精度？
• RQ4 在医学推理任务中，集成知识图谱能否纠正 LLM 生成的幻觉或错误响应？
• RQ5 在复杂医学场景中，HyKGE 框架相较于标准 RAG 或微调后的 LLM，如何提升准确性与可靠性？

主要发现

• HyKGE 通过使用结构化知识图谱验证并纠正错误知识，显著减少了医学 LLM 响应中的幻觉现象。
• 该框架在两个医学多选题数据集上表现优异，相较于基线 RAG 和微调后的 LLM，展现出更高的准确率与可靠性。
• 片段重排序模块通过实现基于假设生成的查询与知识图谱片段之间的细粒度对齐，提升了检索精度。
• 案例研究显示，HyKGE 能够成功纠正 LLM 初始生成的错误——推理链中从红色（初始假设）到绿色（KG 验证答案）的转变即为证据。
• 该模型通过单步生成全面假设，减少了对多次 LLM 交互的需求，提升了效率。
• GPT-3.5 Turbo 的实验表明，HyKGE 在多样化且复杂的医学查询中保持高性能，尤其在模糊或专业性临床情境下表现突出。

Figure 2. HyKGE Method.