[論文レビュー] Structural Quality Metrics to Evaluate Knowledge Graphs

Sumin Seo, Heeseon Cheon+2 more|arXiv (Cornell University)|Nov 18, 2022

Semantic Web and Ontologies被引用数 4

ひとこと要約

本稿では、オントロジー構造と使用状況を評価することで知識グラフの品質を評価するための6つの構造的品質指標を提案する。クラスおよびプロパティのインスタンス化、階層構造、継承に焦点を当てている。ウィキデータ、DBpedia、YAGO、Freebase、Google KG、ナバーのRaftelに適用した結果、大規模知識グラフはしばしばオントロジーを十分に活用していない一方で、Raftelのような良好に構造化されたグラフは、洗練された積極的な使用がなされたクラスおよびプロパティ定義により高い品質を達成していることが明らかになった。

ABSTRACT

This work presents six structural quality metrics that can measure the quality of knowledge graphs and analyzes five cross-domain knowledge graphs on the web (Wikidata, DBpedia, YAGO, Google Knowledge Graph, Freebase) as well as 'Raftel', Naver's integrated knowledge graph. The 'Good Knowledge Graph' should define detailed classes and properties in its ontology so that knowledge in the real world can be expressed abundantly. Also, instances and RDF triples should use the classes and properties actively. Therefore, we tried to examine the internal quality of knowledge graphs numerically by focusing on the structure of the ontology, which is the schema of knowledge graphs, and the degree of use thereof. As a result of the analysis, it was possible to find the characteristics of a knowledge graph that could not be known only by scale-related indicators such as the number of classes and properties.

研究の動機と目的

• サイズや分布に関するメトリクスを超えた知識グラフの構造的品質評価の欠如に対処すること。
• 特にオントロジー設計と使用状況に焦点を当て、知識グラフの品質を決定づける構造的要因を同定すること。
• 知識グラフが現実世界の知識を表現するために、オントロジーをどれだけ効果的に活用しているかを反映する定量的メトリクスを開発すること。
• これらのメトリクスを用いて、ドメインを超えた知識グラフを比較し、構造的強みと弱みを明らかにすること。
• 構造的品質がデータ規模とは独立して、知識グラフ品質の重要な測定可能な次元であることを示すこと。

提案手法

• 6つの構造的品質指標（インスタンス化クラス比、インスタンス化プロパティ比、クラスインスタンス化、サブクラスプロパティ取得、サブクラスプロパティインスタンス化、逆多重継承）を提案する。
• 各指標を1〜10のスケールに正規化し、グラフ間比較を可能にする。
• クラスメトリクス（CM）とプロパティメトリクス（PM）を重み付き平均化し、評価の優先順位に応じて重みを変更することで、包括的な構造的成熟度を反映する品質スコアを生成する。
• 5つの公開知識グラフ（ウィキデータ、DBpedia、YAGO、Freebase、Google KG）および1つの特許知識グラフ（Raftel）にこれらの指標を適用する。
• RDF三元組データとオントロジー定義を用いて、インスタンス化および継承統計を計算する。
• 正規化と重み付き集約を用いて、構造的熟成度を反映する包括的かつ解釈可能な品質スコアを生成する。

実験結果

リサーチクエスチョン

• RQ1 単なるサイズを超えて、知識グラフの構造的特徴が品質に寄与する要因は何か？
• RQ2 知識グラフは、クラスおよびプロパティのインスタンス化において、どれほどオントロジーを活用しているか？
• RQ3 オントロジーの階層（例：サブクラス化）は、知識グラフの表現力と品質にどの程度影響を与えるか？
• RQ4 オントロジー使用状況と設計を評価することで、異なる知識グラフの構造的品質はどのように比較できるか？
• RQ5 構造的品質指標は、規模に基づくメトリクスが見逃す可能性のある、大規模知識グラフにおける隠れた品質問題を明らかにできるか？

主な発見

• DBpediaは、プロパティ使用（PM）を優先した場合、最高の構造的品質スコアを達成しており、中程度のクラス階層であるものの、強力なプロパティインスタンス化を示している。
• Raftelはウィキデータのオントロジーに基づいているが、クラスメトリクス（CM）で最高スコアを記録しており、クラスレベルの構造化とインスタンス化が優れていることを示している。
• ウィキデータは、多数のクラスとプロパティを有する豊富なオントロジーを持つが、インスタンス化率が比較的低く、構造的潜在能力を十分に活用していないことが示された。
• Freebaseは高いプロパティ数を有するが、クラス階層が存在しないため、サブクラスプロパティ取得とサブクラスプロパティインスタンス化が低く、構造的品質が制限されている。
• Google Knowledge Graphは、オントロジーへの公開アクセスが限定的で、API経由でのプロパティ露出も最小限であるため、大多数のメトリクスで低スコアを記録した。
• YAGOはクラスおよびプロパティの数が少なく、サブクラス化が弱く、インスタンス化率も低いため、表現力に欠け、構造的品質が低かった。