[论文解读] LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT

Lars‐Peter Meyer, Claus Stadler+7 more|arXiv (Cornell University)|Jul 13, 2023

Semantic Web and Ontologies参考文献 5被引用 7

一句话总结

本文研究了使用ChatGPT辅助知识图谱工程（KGE）的可行性，展示了其从自然语言生成SPARQL查询、创建RDF知识图谱图示以及支持本体开发的能力。主要结果表明，尽管ChatGPT生成的输出在语法上正确且语义上合理，但频繁出现幻觉现象，需经过验证，凸显了在科学研究严谨性方面对可复现、开源替代方案的需求。

ABSTRACT

Knowledge Graphs (KG) provide us with a structured, flexible, transparent, cross-system, and collaborative way of organizing our knowledge and data across various domains in society and industrial as well as scientific disciplines. KGs surpass any other form of representation in terms of effectiveness. However, Knowledge Graph Engineering (KGE) requires in-depth experiences of graph structures, web technologies, existing models and vocabularies, rule sets, logic, as well as best practices. It also demands a significant amount of work. Considering the advancements in large language models (LLMs) and their interfaces and applications in recent years, we have conducted comprehensive experiments with ChatGPT to explore its potential in supporting KGE. In this paper, we present a selection of these experiments and their results to demonstrate how ChatGPT can assist us in the development and management of KGs.

研究动机与目标

• 评估大型语言模型（LLMs），特别是ChatGPT，在支持知识图谱工程任务方面的潜力。
• 通过探索LLMs的自动化能力，解决KGE中工作量大且依赖专业知识的问题。
• 识别LLMs可在知识图谱构建与查询中减少人工工作量的实际应用场景。
• 评估LLM生成输出在结构化知识表示任务中的可靠性与准确性。
• 指出由于模型闭源导致的幻觉和可复现性不足等挑战。

提出的方法

• 使用ChatGPT-3.5进行实验，从自然语言问题生成SPARQL查询。
• 通过提示工程生成Mermaid和Turtle语法的RDF知识图谱图示。
• 基于语法正确性、语义一致性以及对RDF/OWL标准的遵循程度评估输出结果。
• 采用迭代提示技术优化结果，包括添加前缀和修正错误。
• 通过已知知识图谱（如DBpedia）验证生成的SPARQL查询。
• 通过测量节点与边的数量、标签一致性以及标准关系（如rdfs:subClassOf和rdfs:subPropertyOf）的使用情况，评估图示质量。

实验结果

研究问题

• RQ1 ChatGPT能否从自然语言问题生成语义正确且语法有效的SPARQL查询？
• RQ2 ChatGPT在多大程度上能从文本描述生成准确且标准化的RDF知识图谱图示？
• RQ3 LLM生成的输出在知识图谱模式设计中的可靠性如何？常见错误类型（如幻觉）有哪些？
• RQ4 迭代提示能否提升LLM生成的知识图谱成果物的质量与正确性？
• RQ5 使用闭源LLM（如ChatGPT）在知识图谱工程科学研究中存在哪些局限性？

主要发现

• ChatGPT成功生成了语法正确且与目标知识图谱语义一致的SPARQL查询，经查询执行验证有效。
• 该模型使用rdfs:subClassOf关系生成了DBpedia类的分层RDF图示，包含10个节点和12条边，标签正确添加前缀，并符合OWL/Schema规范。
• 在第二次提示迭代中，ChatGPT生成了一个包含13个节点和17条边的Mermaid图示，所有边均唯一且标签一致，但其中一个概念（dbo:Occupation）并不存在。
• 该模型展示了将能力问题转化为SPARQL查询以及有效总结知识图谱结构的能力。
• 尽管性能表现良好，但模型仍出现幻觉现象，例如虚构不存在的概念或错误表示关系，因此必须进行人工验证。
• ChatGPT的闭源性质限制了可复现性与科学审查，凸显了未来研究中采用开放权重和开放数据LLM的必要性。