[论文解读] BigCQ: A large-scale synthetic dataset of competency question patterns formalized into SPARQL-OWL query templates

Dawid Wiśniewski, Jędrzej Potoniec+1 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 21被引用 4

一句话总结

本文介绍了 BigCQ，一个大规模合成数据集，包含 77,575 个能力问题（CQ）模板和 549 个 SPARQL-OWL 查询模板，这些模板是通过频繁出现的 OWL 公理形态自动生成的。该数据集支持自动化 CQ 到查询的转换以及术语词典的提取，对现实世界 CQ 的覆盖率达 63.89%，对现有语料库中 SPARQL-OWL 查询的覆盖率为 45.74%，并发布了可重用的脚本以支持扩展。

ABSTRACT

Competency Questions (CQs) are used in many ontology engineering methodologies to collect requirements and track the completeness and correctness of an ontology being constructed. Although they are frequently suggested by ontology engineering methodologies, the publicly available datasets of CQs and their formalizations in ontology query languages are very scarce. Since first efforts to automate processes utilizing CQs are being made, it is of high importance to provide large and diverse datasets to fuel these solutions. In this paper, we present BigCQ, the biggest dataset of CQ templates with their formalizations into SPARQL-OWL query templates. BigCQ is created automatically from a dataset of frequently used axiom shapes. These pairs of CQ templates and query templates can be then materialized as actual CQs and SPARQL-OWL queries if filled with resource labels and IRIs from a given ontology. We describe the dataset in detail, provide a description of the process leading to the creation of the dataset and analyze how well the dataset covers real-world examples. We also publish the dataset as well as scripts transforming axiom shapes into pairs of CQ patterns and SPARQL-OWL templates, to make engineers able to adapt the process to their particular needs.

研究动机与目标

• 为本体工程中自然语言能力问题（CQ）与正式 SPARQL-OWL 查询之间缺乏公开可用的大规模数据集提供解决方案。
• 通过机器学习技术，实现基于 CQ 的任务（如术语词典提取和 CQ 到查询的转换）的自动化。
• 从频繁出现的 OWL 公理形态中，生成可扩展、可扩展的数据集，包含 CQ 与 SPARQL-OWL 模板对。
• 提升 CQ 到查询映射的覆盖率与质量，以支持自然语言处理与知识表示系统在训练和评估中的应用。

提出的方法

• 使用基于规则的语义化模式，从一组频繁出现的 OWL 公理形态中自动生成 CQ 模板。
• 通过形式化的句法与语义规则，将每个 CQ 模板映射到对应的 SPARQL-OWL 查询模板。
• 利用同义词和词汇变体数据库，丰富 CQ 模板，提升语言多样性。
• 通过将本体特定的标签和 IRI 代入模板，生成完整的 CQ-SPARQL-OWL 对。
• 通过与真实世界数据集（CQ2SPARQL-OWL 和 CORAL）对比，验证覆盖率。
• 在 GitHub 和 Zenodo 上发布数据集及转换脚本，以确保可复现性与可扩展性。

实验结果

研究问题

• RQ1 如何系统性地从常见的 OWL 公理模式中生成大规模合成的 CQ 模板及其 SPARQL-OWL 查询对应模板？
• RQ2 所生成的数据集在多大程度上覆盖了现有语料库中的真实世界能力问题和 SPARQL-OWL 查询？
• RQ3 当前模板生成过程在处理复杂或罕见查询模式方面存在哪些局限性？
• RQ4 该数据集能否作为有效训练数据，用于自动化 CQ 到查询的转换与术语词典提取系统？

主要发现

• BigCQ 包含 77,575 个不同的 CQ 模板和 549 个不同的 SPARQL-OWL 查询模板，平均每个查询模板对应 171.68 个 CQ 模板。
• 该数据集对 CORAL 语料库中 CQ 的覆盖率为 63.89%，对 CQ2SPARQL-OWL 数据集中 SPARQL-OWL 查询的覆盖率为 45.74%。
• 查询模板中最常出现的构造是 owl:Restriction（504/549）、owl:onProperty（504/549）和 owl:intersectionOf（319/549）。
• 两个主要未覆盖的查询模式是嵌套属性链和涉及 owl:disjointWith 的查询，合计占未支持情况的约 25%。
• 该数据集具有可扩展性：作者提供了开源脚本，可用于将该流程适配至新的公理形态、语义化规则和同义词数据库。
• 该数据集已通过持久性 DOI 发布，并可在 GitHub 上获取，支持重用、扩展，并可集成至自然语言处理与本体工程工作流中。