[论文解读] ChatGPT versus Traditional Question Answering for Knowledge Graphs: Current Status and Future Directions Towards Knowledge Graph Chatbots

Reham Omar, Omij Mangukiya+2 more|arXiv (Cornell University)|Feb 8, 2023

Topic Modeling被引用 38

一句话总结

本文将 ChatGPT 与 Galactica（对话式语言模型）与 KGQAn 与 EDGQA（KGQA 系统）在四个真实知识图谱上进行比较，提出一个框架并为 KG 聊天机器人勾勒开源研究方向。

ABSTRACT

Conversational AI and Question-Answering systems (QASs) for knowledge graphs (KGs) are both emerging research areas: they empower users with natural language interfaces for extracting information easily and effectively. Conversational AI simulates conversations with humans; however, it is limited by the data captured in the training datasets. In contrast, QASs retrieve the most recent information from a KG by understanding and translating the natural language question into a formal query supported by the database engine. In this paper, we present a comprehensive study of the characteristics of the existing alternatives towards combining both worlds into novel KG chatbots. Our framework compares two representative conversational models, ChatGPT and Galactica, against KGQAN, the current state-of-the-art QAS. We conduct a thorough evaluation using four real KGs across various application domains to identify the current limitations of each category of systems. Based on our findings, we propose open research opportunities to empower QASs with chatbot capabilities for KGs. All benchmarks and all raw results are available1 for further analysis.

研究动机与目标

• 评估对话式 AI 模型（如 ChatGPT、Galactica）相对于传统 KG 问答系统（KGQAn、EDGQA）在知识图谱上的优点与局限。
• 使用统一框架，在来自通用与学术领域的四个真实 KG 上评估性能。
• 识别实现 KG 聊天机器人所需的能力，使之将对话式 AI 与 KGQA 融合。
• 提出开放研究挑战，推动具对话能力、实时信息更新的 KG 问答系统的发展。

提出的方法

• 定义一个统一的比较框架，标准包括正确性、鲁棒性、确定性、可解释性、问题理解、对最新信息的整合以及领域普适性。
• 选择两种代表性的对话模型（ChatGPT 与 Galactica）以及两种 KGQA 系统（KGQAn 与 EDGQA）进行评估。
• 在四个真实 KG（QALD-9、YAGO、DBLP、MAG）上，使用 450 个英文问题，覆盖布尔、列表、WH 型及更复杂查询进行评估。
• 使用微观 F1 及相关指标来评估正确性；由于输出格式差异，对语言模型进行人工评估。
• 测试多个 ChatGPT 变体（Default、Follow up、Excel）以研究对召回率和列表完成的影响。
• 通过重复问题来比较确定性；通过拼写/语法扰动评估鲁棒性；分析可解释性与问题理解。

实验结果

研究问题

• RQ1 ChatGPT 与 Galactica 相对 KGQA 系统在通用与学术领域回答基于 KG 的问题方面有何比较？
• RQ2 在正确性、召回、精确度和可解释性方面，对话式 AI 与传统 KGQA 的强项与弱点是什么？
• RQ3 将语言模型与 KGQA 技术结合是否能在领域普适性和信息时效性方面获得更好表现？
• RQ4 开发支持对话、鲁棒性、可解释性和最新版信息的KG 聊天机器人存在哪些开放挑战？

主要发现

• KGQAn 在通用和学术 KG 上实现了高精度和高召回，显示出强大的领域普适性。
• 在 QALD-9 和 YAGO 上，ChatGPT 的精确度高于 KGQAn，但在召回方面存在困难，尤其是长列表。
• ChatGPT 的变体（Excel、Follow up）提高了召回率和列表完成度，在某些基准上有时甚至超过 KGQAn。
• Galactica 在列表问题上的表现较差，整体召回率较低。
• ChatGPT 展示出较高的可解释性和鲁棒性，而传统 KGQA 系统提供确定性、最新检索但缺乏解释。
• KGQAn 在各 KG 上维持较强的性能，并支持快速整合来自特定 KG 的最新信息。