[论文解读] FOCA: A Methodology for Ontology Evaluation

Judson Bandeira, Ig Ibert Bittencourt+2 more|arXiv (Cornell University)|Dec 10, 2016

Semantic Web and Ontologies参考文献 17被引用 42

一句话总结

FOCA 是一种结构化、分步的本体质量评估方法，采用目标-问题-度量（GQM）方法论，针对本体类型和知识表示角色进行定制。该方法通过问卷和贝塔回归模型，实现一致、无需专家参与的评估，将本体质量量化为 0 到 1 之间的分数，显著降低了主观性与评估工作量。

ABSTRACT

Modeling an ontology is a hard and time-consuming task. Although methodologies are useful for ontologists to create good ontologies, they do not help with the task of evaluating the quality of the ontology to be reused. For these reasons, it is imperative to evaluate the quality of the ontology after constructing it or before reusing it. Few studies usually present only a set of criteria and questions, but no guidelines to evaluate the ontology. The effort to evaluate an ontology is very high as there is a huge dependence on the evaluator's expertise to understand the criteria and questions in depth. Moreover, the evaluation is still very subjective. This study presents a novel methodology for ontology evaluation, taking into account three fundamental principles: i) it is based on the Goal, Question, Metric approach for empirical evaluation; ii) the goals of the methodologies are based on the roles of knowledge representations combined with specific evaluation criteria; iii) each ontology is evaluated according to the type of ontology. The methodology was empirically evaluated using different ontologists and ontologies of the same domain. The main contributions of this study are: i) defining a step-by-step approach to evaluate the quality of an ontology; ii) proposing an evaluation based on the roles of knowledge representations; iii) the explicit difference of the evaluation according to the type of the ontology iii) a questionnaire to evaluate the ontologies; iv) a statistical model that automatically calculates the quality of the ontologies.

研究动机与目标

• 为解决当前本体质量评估缺乏标准化、可操作的指导方针的问题，该问题目前严重依赖评估者的专业知识，且主观性较强。
• 通过提供可重复、分步的流程，降低本体评估的认知与时间负担。
• 通过实现对不同类型（如领域型、任务型、应用型）本体的客观、可量化评估，提升本体的可重用性。
• 通过围绕既定角色与标准组织评估，减少不同经验水平评估者之间的差异。
• 开发一种统计模型，基于评估者回答自动计算质量得分，实现本体之间的数值化比较。

提出的方法

• 该方法应用目标-问题-度量（GQM）框架，将本体评估围绕源自知识表示五种角色（如描述、解释、预测）的具体目标进行组织。
• 根据 Guarino 的分类体系，将本体划分为三类——领域型、任务型和应用型，并据此定制评估标准。
• 使用包含 13 个问题的标准化问卷评估每个本体，问题设计基于 Vrandečić（2009）提出的准则，并针对清晰度与相关性进行了调整。
• 汇总评估者回答，并用于训练贝塔回归模型，计算出归一化的质量得分（范围为 0 到 1），表示部分或完全质量。
• 通过残差分析验证模型，结果表明残差在零值附近随机分布，表明模型对实证数据具有良好的拟合度。
• 该过程包含三个主要步骤：(1) 验证本体类型，(2) 通过迭代回答问题应用 GQM，(3) 使用统计模型计算质量得分。

实验结果

研究问题

• RQ1 是否可以通过结构化、分步的方法降低本体评估中的主观性与对评估者依赖？
• RQ2 能否构建一个统计上有效的模型，基于专家评估结果自动计算本体的数值化质量得分？
• RQ3 FOCA 方法是否能在不同经验水平的评估者之间产生一致的质量得分？
• RQ4 贝塔回归模型对从评估者回答中收集的实证数据的拟合程度如何？
• RQ5 该方法是否可推广至不同本体与评估情境？

主要发现

• FOCA 方法通过提供标准化、可重复的流程，显著降低了评估的主观性，引导评估者遵循明确的标准。
• 评估者一致性得到改善：无论经验水平高低，评估者使用 FOCA 后产生的质量得分趋于一致，表明对专家经验的依赖性降低。
• 贝塔回归模型拟合良好，残差图显示残差随机分布在零值附近，支持模型的可靠性。
• 该方法能够计算出精确、归一化的质量得分（范围为 0 到 1），实现本体之间的客观比较。
• 实证研究证实，该方法在多样化的评估者与本体中均有效，即使样本量仅为四个 Lattes 领域本体。
• 尽管未显式引入评估者专业水平变量，但模型通过响应模式隐式考虑了人类表达（即评估者专业水平）的影响。