[论文解读] How, What and Why to test an ontology

Jennifer D. Warrender, Phillip Lord|arXiv (Cornell University)|May 15, 2015

Semantic Web and Ontologies参考文献 9被引用 5

一句话总结

本文提出了一套系统化的本体测试框架，通过将软件工程测试实践适配至使用 Tawny-OWL 库的 OWL 本体开发中。该框架引入了一种新型的四类测试分类法——软件绑定测试、本体绑定测试、推理器测试和探测测试，证明了严格且自动化的测试可显著提升本体的质量、可维护性与敏捷性，在核型本体项目中通过持续集成应用了 3,088 项测试。

ABSTRACT

Ontology development relates to software development in that they both involve the production of formal computational knowledge. It is possible, therefore, that some of the techniques used in software engineering could also be used for ontologies; for example, in software engineering testing is a well-established process, and part of many different methodologies. The application of testing to ontologies, therefore, seems attractive. The Karyotype Ontology is developed using the novel Tawny-OWL library. This provides a fully programmatic environment for ontology development, which includes a complete test harness. In this paper, we describe how we have used this harness to build an extensive series of tests as well as used a commodity continuous integration system to link testing deeply into our development process; this environment, is applicable to any OWL ontology whether written using Tawny-OWL or not. Moreover, we present a novel analysis of our tests, introducing a new classification of what our different tests are. For each class of test, we describe why we use these tests, also by comparison to software tests. We believe that this systematic comparison between ontology and software development will help us move to a more agile form of ontology development.

研究动机与目标

• 为解决本体开发中缺乏系统化测试的问题，通过适配软件工程测试实践。
• 通过自动化、可重复的测试提升本体的质量、一致性和可维护性。
• 开发一种通用且可复用的测试方法论，适用于任何 OWL 本体，而不仅限于核型本体。
• 通过持续集成和程序化测试定义，将测试深度整合至本体开发生命周期。
• 对本体测试进行有意义的分类，明确区分软件级、本体级和推理级验证。

提出的方法

• 使用 Tawny-OWL 库，一个基于 OWL API 的 Clojure 驱动的程序化本体开发环境。
• 在 Tawny-OWL 中实现一个全面的测试框架，支持单元测试、集成测试和功能式测试。
• 通过结构化数据（如电子表格）定义测试，程序化地转换为断言。
• 将测试分类为四类：软件绑定测试（代码级）、本体绑定测试（语义正确性）、推理器测试（逻辑一致性）和探测测试（行为验证）。
• 将测试套件与 TravisCI 集成，实现持续集成，确保测试在隔离环境中自动运行。
• 利用 Tawny-OWL 的可扩展性，支持语法查询（通过 tawny.query）和推理时间性能测试。

实验结果

研究问题

• RQ1 如何将软件工程测试实践适配至本体开发，以提升其质量和可靠性？
• RQ2 构建稳健本体所需的测试类别有哪些？它们在目的和实现上如何不同？
• RQ3 程序化、测试驱动的本体开发方法是否能增强敏捷性、可维护性和一致性？
• RQ4 如何有效将持续集成和自动化测试应用于 OWL 本体，特别是具有复杂结构或依赖关系的本体？
• RQ5 当前本体测试工具的局限性是什么？如何通过可扩展框架（如 Tawny-OWL）加以解决？

主要发现

• 核型本体项目构建了涵盖 3,088 项测试的全面测试套件，其中 2,273 项聚焦于推理行为，759 项关注本体正确性。
• 四类测试分类法——软件绑定测试、本体绑定测试、推理器测试和探测测试——为区分测试目标提供了清晰且可操作的框架。
• 测试定义成功以电子表格形式编码，实现了快速、结构化的测试编写，并可在本体中复用。
• 通过 TravisCI 实现的持续集成确保了测试的一致性和可重复性，提升了可靠性并降低了回归风险。
• 测试环境与本体格式解耦，使其可适用于任何 OWL 本体，无论开发工具如何。
• 尽管在逻辑和语法测试方面支持良好，作者仍指出当前本体工具链在覆盖率度量和性能基准测试方面存在空白，这些方面仍处于发展初期。