[论文解读] KGValidator: A Framework for Automatic Validation of Knowledge Graph Construction

Jack Boylan, Shashank Mangla+4 more|arXiv (Cornell University)|Apr 24, 2024

Semantic Web and Ontologies被引用 5

一句话总结

KGValidator 提出一个灵活框架，使用大语言模型结合来自模型、本地用户文档、Wikidata 或网络来源的上下文来验证知识图谱完成三元组，而无需金标准参考。它在基准数据集上通过外部上下文在零样本验证方面显示出改进。

ABSTRACT

This study explores the use of Large Language Models (LLMs) for automatic evaluation of knowledge graph (KG) completion models. Historically, validating information in KGs has been a challenging task, requiring large-scale human annotation at prohibitive cost. With the emergence of general-purpose generative AI and LLMs, it is now plausible that human-in-the-loop validation could be replaced by a generative agent. We introduce a framework for consistency and validation when using generative models to validate knowledge graphs. Our framework is based upon recent open-source developments for structural and semantic validation of LLM outputs, and upon flexible approaches to fact checking and verification, supported by the capacity to reference external knowledge sources of any kind. The design is easy to adapt and extend, and can be used to verify any kind of graph-structured data through a combination of model-intrinsic knowledge, user-supplied context, and agents capable of external knowledge retrieval.

研究动机与目标

• 解决在没有大规模人工注释的情况下验证知识图谱完成的挑战。
• 利用大语言模型（LLMs）在多种上下文中验证三元组。
• 提供一个简单、可扩展的流水线，能够验证任何图结构数据。
• 展示外部来源（Wikidata、网络）如何在不同数据集上提升验证准确性。

提出的方法

• 引入 KGValidator，一个将知识图谱三元组与上下文信息进行比对验证的框架。
• 使用 Pydantic 模型和 Instructor 库来强制输出实现结构化且语义上有据的验证结果。
• 支持多种验证上下文：LLM 的内在知识、来自用户提供文档的文本上下文、Wikidata 参考知识图谱，以及网络搜索结果。
• 通过分块和嵌入文本上下文、建立可检索的索引，并查询相关证据来实现检索增强的验证。
• 允许使用诸如 GPT-3.5-turbo 或 Llama 系列模型等骨干进行零样本验证器实例化，并配合外部知识检索工具。

实验结果

研究问题

• RQ1 在有上下文证据的零样本设定下，基于 LLM 的验证器是否能准确判断知识图谱三元组的有效性？
• RQ2 提供文本、Wikidata 或网络衍生上下文如何影响在标准知识图谱完成基准上的验证性能？
• RQ3 固有的 LLM 知识在三元组验证方面的局限性是什么，外部上下文如何缓解这些局限？

主要发现

• 外部上下文在许多数据集和模型上显著提升了验证准确性。
• GPT-4 验证器在大多数数据集上通常表现强劲，特别是在有 Wikidata 和网络上下文时。
• 仅凭固有的 LLM 知识往往无法可靠地验证三元组，表明需要外部验证信号。
• 如 Llama-2 这样的开源模型在零样本知识图验证任务中可能表现不佳，凸显了在此设置下的模型依赖性。
• 验证有效性因领域而异，特定领域的数据（例如 UMLS）即便有上下文也仍然具有挑战性。