[论文解读] KGARevion: An AI Agent for Knowledge-Intensive Biomedical QA

Xiaorui Su, Yibo Wang+5 more|arXiv (Cornell University)|Oct 7, 2024

Quality and Safety in Healthcare被引用 4

一句话总结

KGARevion 是一种基于知识图谱（KG）的大型语言模型（LLM）智能体，通过在基础知识图谱上生成、验证和修订医学三元组，提升知识密集型生物医学问答的性能。其在标准数据集上的准确率提升超过5.2%，在新型复杂医学问答基准上实现10.4%的准确率提升，展现出在多源医学推理中卓越的鲁棒性与适应性。

ABSTRACT

Biomedical reasoning integrates structured, codified knowledge with tacit, experience-driven insights. Depending on the context, quantity, and nature of available evidence, researchers and clinicians use diverse strategies, including rule-based, prototype-based, and case-based reasoning. Effective medical AI models must handle this complexity while ensuring reliability and adaptability. We introduce KGARevion, a knowledge graph-based agent that answers knowledge-intensive questions. Upon receiving a query, KGARevion generates relevant triplets by leveraging the latent knowledge embedded in a large language model. It then verifies these triplets against a grounded knowledge graph, filtering out errors and retaining only accurate, contextually relevant information for the final answer. This multi-step process strengthens reasoning, adapts to different models of medical inference, and outperforms retrieval-augmented generation-based approaches that lack effective verification mechanisms. Evaluations on medical QA benchmarks show that KGARevion improves accuracy by over 5.2% over 15 models in handling complex medical queries. To further assess its effectiveness, we curated three new medical QA datasets with varying levels of semantic complexity, where KGARevion improved accuracy by 10.4%. The agent integrates with different LLMs and biomedical knowledge graphs for broad applicability across knowledge-intensive tasks. We evaluated KGARevion on AfriMed-QA, a newly introduced dataset focused on African healthcare, demonstrating its strong zero-shot generalization to underrepresented medical contexts.

研究动机与目标

• 解决知识密集型生物医学推理所面临的独特挑战，这些挑战依赖于类比推理、基于规则的推理和基于案例的推理等多种策略。
• 克服 LLM 在生物医学问答中固有的局限性，包括幻觉现象、检索效果差以及缺乏对结构化医学知识的依赖。
• 开发一种系统，整合 LLM 的非编码化知识与医学 KG 中的结构化编码知识，以提升推理的准确性和可靠性。
• 确保对多选题设置中常见的答案顺序和索引偏差具有鲁棒性。
• 在标准数据集和新整理的、语义复杂的医学问答基准上评估模型，以衡量其泛化能力及在更高难度下的表现。

提出的方法

• 采用四步智能体框架：生成、检索、审查与修订，系统化处理医学问题。
• 通过微调后的 LLM，结合输入问题和 KG 嵌入，生成候选医学三元组（主语-谓语-宾语）。
• 利用预训练的结构化嵌入（如 OGB-biokg 或 PrimeKG）进行向量搜索，检索相关 KG 三元组以支持检索。
• 通过与基础医学 KG 的交叉比对，审查并验证生成的三元组，以过滤掉幻觉或错误的事实。
• 通过迭代式地根据 KG 验证步骤的反馈，优化和细化三元组，实现推理路径的修订。
• 将 KG 用作事实验证器而非检索源，确保仅医学上准确且相关的三元组参与最终答案的生成。

Figure 1: a) Performance of LLMs on three new datasets introduced in this paper with questions of varying difficulty. b) Sample questions from new MedDDx-Basic, MedDDx-Intermediate, and MedDDx-Expert datasets.

实验结果

研究问题

• RQ1 与标准 RAG 或仅 LLM 的基线模型相比，基于 KG 的智能体是否能显著提升 LLM 在复杂、知识密集型生物医学问答中的准确率？
• RQ2 结构化 KG 验证的整合在 LLM 幻觉和检索错误存在的情况下，如何增强推理的鲁棒性？
• RQ3 KGARevion 在医学问答中不同语义复杂度水平下（包括专家级问题）的性能保持程度如何？
• RQ4 与标准 LLM 相比，KGARevion 在多选题设置中对答案排序和标签的敏感性如何？
• RQ5 该智能体是否能在不同 KG 和 LLM 主干网络之间实现泛化，同时保持高准确率和可靠性？

主要发现

• 与 15 种基线模型相比，KGARevion 在四个黄金标准医学问答数据集上的准确率提升超过 5.2%，在复杂医学问题上展现出强大性能。
• 在三个新整理的高复杂度医学问答数据集——MedDDx-Basic、MedDDx-Intermediate 和 MedDDx-Expert 上，KGARevion 相较于基线 LLM 实现了 10.4% 的绝对准确率提升。
• KGARevion 在多选题设置中对答案顺序和索引具有强鲁棒性，LLaMA3-8B 和 LLaMA3.1-8B 的准确率损失分别仅为 2.59% 和 3.86%，而纯 LLM 的损失分别为 8.4% 和 16.0%。
• 即使使用较小的 KG（如 OGB-biokg），KGARevion 的性能依然稳定且优异，优于依赖更大 KG（如 PrimeKG）的模型，凸显其验证机制的有效性。
• KGARevion 生成的推理路径具有可解释性且基于事实，经验证的三元组构成连贯、可追溯的医学逻辑链条，例如将染色体缺失与特定综合征关联。
• KGARevion 的设计支持系统性地整合事实性（结构化）知识与隐性（非编码化）知识，使其能够处理细微的医学差异以及语义相似但临床不同的概念。

Figure 2: a) The overview of KGARevion . b ) The architecture of fine-tuning stage in the Review action, where embeddings get from KGs are structural embeddings, while concept embeddings from LLMs.