[論文レビュー] Steps to Knowledge Graphs Quality Assessment

Elwin Huaman|arXiv (Cornell University)|Aug 16, 2022

Data Quality and Management被引用数 5

ひとこと要約

本稿では、20の分野特化型の品質次元（QD）と関連する品質指標（QM）を定義することで、カスタマイズ可能でユーザー主導の知識グラフ（KG）品質評価フレームワークを提案する。重み付きスコアリングによりアルファおよびベータ重みを用いて、集約されたQDおよびKGスコアを算出し、実用的でタスク特化型の評価を可能にし、多様な応用分野におけるKG品質の比較、最適化、可視化を支援する。

ABSTRACT

Knowledge Graphs (KGs) have been popularized during the last decade, for instance, they are used widely in the context of the web. In 2012 Google has presented the Google's Knowledge Graph that is used to improve their web search services. The web also hosts different KGs, such as DBpedia and Wikidata, which are used in various applications like personal assistants and question-answering systems. Various web applications rely on KGs to provide concise, complete, accurate, and fresh answer to users. However, what is the quality of those KGs? In which cases should a Knowledge Graph (KG) be used? How might they be evaluated? We reviewed the literature on quality assessment of data, information, linked data, and KGs. We extended the current state-of-the-art frameworks by adding various quality dimensions (QDs) and quality metrics (QMs) that are specific to KGs. Furthermore, we propose a general-purpose, customizable to a domain or task, and practical quality assessment framework for assessing the quality of KGs.

研究の動機と目的

• 知識グラフ（KG）のための包括的で柔軟な品質評価フレームワークの欠如に対処し、使用適合性評価を支援すること。
• 既存のデータおよびリンクドデータ品質モデルを拡張し、KGに特に関連する20の品質次元（QD）を特定・形式化すること。
• ユーザーのニーズとユースケースに基づいてQDおよびQMの重みを動的に設定できる、実用的でカスタマイズ可能なフレームワークを開発すること。
• 調整可能で可視化可能かつ解釈可能な品質評価を通じて、行動可能なインサイトを提供し、KGの選定および改善を支援すること。

提案手法

• フレームワークは4段階で構成される：ユーザー、ユースケース、対象KGの特定；ベータ重み（0〜1）を用いてQDおよびQMの選択と重み付け（合計が1に等しい）。
• 各QDは、その構成要素であるQMの重み付き和によりスコア化され、アルファ重み（0〜1）が各QDの各QMの重要性を反映し、合計が1に等しい。
• KGのQDスコアは $ d_i(g) = \sum_{j=1}^{k_i} m_{i,j} \cdot \alpha_{i,j} $ で計算され、ここで $ m_{i,j} $ は正規化された指標スコアである。
• 全体のKG品質スコアは $ T(g) = \sum_{i=1}^{n} d_i(g) \cdot \beta_i $ で計算され、各QDスコアとその重みを組み合わせる。
• 重みの動的調整により、優先順位の変化に応じた評価が可能となり、複数のユースケースにおけるKGの即時比較および順位付けが実現される。
• 結果の可視化、推奨機能の支援、品質スコアのインタラクティブな探索を可能にするユーザーアクセス（UI）を提案する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフのための品質次元（QD）を、その独自の特徴を反映するように体系的に特定・形式化するにはどうすればよいか？
• RQ2 複数の品質指標（QM）を、KGのための整合性のある品質次元（QD）に効果的に定量化・集約する最適な方法は何か？
• RQ3 品質評価フレームワークを、異なるユースケースや分野に適応可能でカスタマイズ可能な形にどのように実現するか？
• RQ4 重み付き重要度スコア（アルファおよびベータ重み）は、ユーザー主導でタスク特化型のKG品質評価を可能にする役割を果たすか？

主な発見

• 本稿では、コスト効率性、トレーサビリティ、多様性など、従来あまり注目されていなかった側面を含む、知識グラフに特化した20の品質次元（QD）を特定・形式化した。
• QD（ベータ重み）およびQM（アルファ重み）のカスタマイズ可能な重み付けを可能にするフレームワークにより、ユースケースに応じた動的かつユーザー主導の品質評価が実現される。
• KGの集約的品質スコアは、QDスコアの重み付き和として計算され、最終的な総合スコア $ T(g) $ は使用適合性の全体的な度合を反映する。
• 調整可能な重み、結果の比較、可視化を支援するフレームワークにより、実用的な活用が可能となり、適切なKGの選定および改善が可能になる。
• 本アプローチは、機械実行可能な指標と人間による判断の統合（人間を含むプロセス）を組み合わせた半自動的設計であり、正確性とコストのバランスを図る。