[论文解读] Bio-SODA: Enabling Natural Language Question Answering over Knowledge Graphs without Training Data

Ana Claudia Sima, Tarcisio Mendes de Farias+5 more|arXiv (Cornell University)|Apr 28, 2021

Semantic Web and Ontologies参考文献 33被引用 16

一句话总结

Bio-SODA 是一种无需训练的自然语言知识图谱问答系统，通过基于图的匹配方法和一种结合节点中心性的新型排序算法生成 SPARQL 查询。在包括生物信息学和欧盟项目数据集在内的复杂科学知识图谱上，其 F1 分数比当前最先进系统高出 20%，且无需使用标注的问答对。

ABSTRACT

The problem of natural language processing over structured data has become a growing research field, both within the relational database and the Semantic Web community, with significant efforts involved in question answering over knowledge graphs (KGQA). However, many of these approaches are either specifically targeted at open-domain question answering using DBpedia, or require large training datasets to translate a natural language question to SPARQL in order to query the knowledge graph. Hence, these approaches often cannot be applied directly to complex scientific datasets where no prior training data is available. In this paper, we focus on the challenges of natural language processing over knowledge graphs of scientific datasets. In particular, we introduce Bio-SODA, a natural language processing engine that does not require training data in the form of question-answer pairs for generating SPARQL queries. Bio-SODA uses a generic graph-based approach for translating user questions to a ranked list of SPARQL candidate queries. Furthermore, Bio-SODA uses a novel ranking algorithm that includes node centrality as a measure of relevance for selecting the best SPARQL candidate query. Our experiments with real-world datasets across several scientific domains, including the official bioinformatics Question Answering over Linked Data (QALD) challenge, show that Bio-SODA outperforms publicly available KGQA systems by an F1-score of least 20% and by an even higher factor on more complex bioinformatics datasets.

研究动机与目标

• 解决科学知识图谱中缺乏训练数据的问题，该问题限制了现有神经网络 KGQA 系统的适用性。
• 在无需标注问答对的情况下，实现对复杂真实科学知识图谱的高精度零样本问答。
• 通过结合字符串相似度、语义相似度和节点中心性，改进 SPARQL 查询生成的候选排序。
• 通过最少的手动配置和高可扩展性，实现在多样化科学领域中的泛化能力。
• 通过引导用户完成概念匹配、查询构建和结果解释，提升可解释性。

提出的方法

• Bio-SODA 使用基于图的方法将自然语言问题与知识图谱实体和关系匹配，从这些匹配中构建候选 SPARQL 查询。
• 采用混合相似度度量方法，结合问题词元与知识图谱元素之间的字符串级和语义相似度。
• 提出一种新型排序算法，将节点中心性（如 PageRank）作为相关性信号，优先排序语义上合理的查询候选。
• 系统支持对特定属性（如标签、描述）的可配置搜索，排除冗长或冗余字段（如完整摘要）。
• 能够处理包含多达 10 个或更多三元组模式的复杂查询，无需用户引导或预训练模型。
• 该流程包括实体链接和查询图构建，结果使用有意义的变量名称进行投影，以增强可解释性。

实验结果

研究问题

• RQ1 KGQA 系统是否能在不依赖标注训练数据的情况下，在复杂科学知识图谱上实现高性能？
• RQ2 节点中心性作为排序 SPARQL 查询候选的相关性信号，在自然语言问题中有多有效？
• RQ3 基于图的非神经方法在真实世界科学数据集上，能在多大程度上超越现有神经网络 KGQA 系统？
• RQ4 该系统如何处理科学知识图谱中标签不精确或冗长导致的歧义性和冗余性？
• RQ5 该系统能否在极少配置下实现对多样化科学领域的泛化？

主要发现

• Bio-SODA 在真实世界科学知识图谱上，相较于公开可用的 KGQA 系统，F1 分数最低提升 20%，在复杂的生物信息学数据集上提升更为显著。
• 将节点中心性整合到排序函数中显著提升了结果质量，尤其在标签冗余或术语不精确的数据集中表现更优。
• 该系统成功处理了包含多达 10 个或更多三元组模式的复杂查询，展现出超越简单两三个三元组查询的鲁棒性。
• 在 QALD-4 和 CORDIS 数据集上，尽管缺乏任何训练数据，Bio-SODA 的表现仍优于现有开源系统，包括基于深度学习的系统。
• 该系统在生物医学、基因同源性和欧盟资助项目知识图谱等多样化领域中表现出强大的泛化能力，且配置需求极少。
• 局限性在于无法正确处理 ASK 查询（返回结果而非布尔值答案），作者已将其识别为未来扩展方向，并计划引入问题类型分类器。