[論文レビュー] FOCA: A Methodology for Ontology Evaluation

Judson Bandeira, Ig Ibert Bittencourt+2 more|arXiv (Cornell University)|Dec 10, 2016

Semantic Web and Ontologies参考文献 17被引用数 42

ひとこと要約

FOCA は、目的-質問-指標（GQM）アプローチを用い、オントロジーの種別および知識表現の役割に適合した、構造的で段階的なオントロジー品質評価手法である。質問票とベータ回帰モデルを用いることで、0〜1のスコアとしてオントロジー品質を定量化し、主観性と評価者の専門性依存性を著しく低減する。

ABSTRACT

Modeling an ontology is a hard and time-consuming task. Although methodologies are useful for ontologists to create good ontologies, they do not help with the task of evaluating the quality of the ontology to be reused. For these reasons, it is imperative to evaluate the quality of the ontology after constructing it or before reusing it. Few studies usually present only a set of criteria and questions, but no guidelines to evaluate the ontology. The effort to evaluate an ontology is very high as there is a huge dependence on the evaluator's expertise to understand the criteria and questions in depth. Moreover, the evaluation is still very subjective. This study presents a novel methodology for ontology evaluation, taking into account three fundamental principles: i) it is based on the Goal, Question, Metric approach for empirical evaluation; ii) the goals of the methodologies are based on the roles of knowledge representations combined with specific evaluation criteria; iii) each ontology is evaluated according to the type of ontology. The methodology was empirically evaluated using different ontologists and ontologies of the same domain. The main contributions of this study are: i) defining a step-by-step approach to evaluate the quality of an ontology; ii) proposing an evaluation based on the roles of knowledge representations; iii) the explicit difference of the evaluation according to the type of the ontology iii) a questionnaire to evaluate the ontologies; iv) a statistical model that automatically calculates the quality of the ontologies.

研究の動機と目的

• 現在のオントロジー品質評価が評価者の専門性に大きく依存し、主観的であるため、標準的で実行可能なガイドラインの欠如に対処すること。
• 繰り返し可能で段階的なプロセスを提供することで、オントロジー評価の認知的および時間的負担を軽減すること。
• 異なる種別（例：ドメイン型、タスク型、アプリケーション型）のオントロジーに対して、客観的かつ定量的な品質評価を可能にすることで、再利用性を向上させること。
• 経験の異なる評価者間の差異を最小限に抑えるために、定義された役割と基準に基づく評価を構造化すること。
• 評価者からの回答に基づき、自動的に品質スコアを計算する統計モデルを開発することにより、オントロジー間の数値的比較を可能にすること。

提案手法

• この手法は、知識表現の5つの役割（例：記述、説明、予測）に基づく具体的な目的を設定し、それらを基に目的-質問-指標（GQM）フレームワークを適用する。
• ガリニのタイプロジックに従い、オントロジーをドメイン型、タスク型、アプリケーション型の3種類に分類し、それぞれに応じた評価基準をカスタマイズする。
• 13の質問からなる標準化された質問票を用いて各オントロジーを評価し、Vrandečić（2009）の基準を明確さと関連性に合わせて調整して設計した。
• 評価者の回答を集約し、0〜1の正規化された品質スコアを算出するベータ回帰モデルを訓練する。
• 残差解析を用いてモデルを検証し、残差がゼロの周りにランダムに散らばっていることから、実データに対して良好な適合が得られた。
• プロセスは主に3段階で構成される：(1) オントロジーの種別を確認する、(2) GQMに従い、繰り返し質問に回答する、(3) 統計モデルを用いて品質を計算する。

実験結果

リサーチクエスチョン

• RQ1 構造的で段階的な手法は、オントロジー評価における主観性と評価者依存性を低減できるか？
• RQ2 専門家の評価に基づき、オントロジーの数値的品質スコアを計算する統計的に妥当なモデルを構築することは可能か？
• RQ3 FOCA手法は、経験の異なる評価者間でも一貫性のある品質スコアを生み出すか？
• RQ4 ベータ回帰モデルは、評価者からの回答で得られた実データに適切に適合しているか？
• RQ5 この手法は、さまざまなオントロジーや評価文脈に一般化可能か？

主な発見

• FOCA手法は、定義された基準に従う標準的で繰り返し可能なプロセスを提供することで、評価の主観性を著しく低減した。
• 評価者の一貫性が向上：経験の有無に関わらず、FOCAを用いた評価者は類似した品質スコアを出力しており、専門性への依存性が低下した。
• ベータ回帰モデルは、残差プロットがゼロの周りにランダムに散らばっていることから、統計的に妥当な適合が得られた。このことは、モデルの信頼性を裏付けた。
• この手法により、0〜1の明確で正規化された品質スコアが計算可能となり、オントロジー間の客観的比較が可能になった。
• 実地調査では、4つのLattesドメインオントロジーを対象とした小規模なサンプルでも、この手法が多様な評価者とオントロジーに有効であることが確認された。
• 明示的な変数を含めないにもかかわらず、モデルは回答パターンを通じて人間の表現（評価者の専門性）を暗黙的に反映していた。