[論文レビュー] Efficient Knowledge Graph Accuracy Evaluation

Junyang Gao, Xian Li+4 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Graph Neural Networks参考文献 22被引用数 5

ひとこと要約

本稿では、クラスタリングサンプリング、重み付きサンプリング、および層別化を用いて、人的アノテーション作業を最小限に抑えた統計的に妥当でコスト効率の良い知識グラフ（KG）の正確性評価フレームワークを提案する。静的KGでは最大60%、進化するKGでは最大80%のコスト削減を達成し、評価品質に妥協を来さない。また、層別化および重み付きリザーバーサンプリングを用いたインクリメンタル更新への拡張も可能である。

ABSTRACT

Estimation of the accuracy of a large-scale knowledge graph (KG) often requires humans to annotate samples from the graph. How to obtain statistically meaningful estimates for accuracy evaluation while keeping human annotation costs low is a problem critical to the development cycle of a KG and its practical applications. Surprisingly, this challenging problem has largely been ignored in prior research. To address the problem, this paper proposes an efficient sampling and evaluation framework, which aims to provide quality accuracy evaluation with strong statistical guarantee while minimizing human efforts. Motivated by the properties of the annotation cost function observed in practice, we propose the use of cluster sampling to reduce the overall cost. We further apply weighted and two-stage sampling as well as stratification for better sampling designs. We also extend our framework to enable efficient incremental evaluation on evolving KG, introducing two solutions based on stratified sampling and a weighted variant of reservoir sampling. Extensive experiments on real-world datasets demonstrate the effectiveness and efficiency of our proposed solution. Compared to baseline approaches, our best solutions can provide up to 60% cost reduction on static KG evaluation and up to 80% cost reduction on evolving KG evaluation, without loss of evaluation quality.

研究の動機と目的

• 大規模知識グラフの正確性を、人的アノテーション作業を最小限に抑えて統計的に信頼性のある方法で評価するための手法の不足を解消すること。
• 同一エンティティに関する三項節のコストが低いといった実用的なコスト構造（例：共有されたエンティティ同定のためのコスト低減）を活用して、アノテーションコストを削減すること。
• 静的および進化するKGの両方において、人的労働を最小限に抑えつつ統計的妥当性を維持するサンプリングフレームワークを設計すること。
• 再評価から始めることなく、進化するKGにおけるインクリメンタルな正確性評価を可能にすることにより、効率性と正確性を維持すること。
• ベースラインのサンプリング手法よりもコスト効率と統計的信頼性に優れたスケーラブルで堅牢なソリューションを提供すること。

提案手法

• 同一エンティティに関連する三項節は再同定作業が少なくなるため、エンティティ類似度に基づくクラスタリングサンプリングを提案し、アノテーションコストを低減する。
• 高いインパクトや情報量を持つサンプルを優先する重み付きサンプリングを適用し、推定の効率性を向上させる。
• 異なるエンティティタイプや述語ごとに代表的なサンプリングを確保するため、層別化を用い、統計的堅牢性を向上させる。
• 進化するKG向けに2つのインクリメンタル評価ソリューションを導入：1つは層別化に基づくもの、もう1つはリザーバーサンプリングの重み付き変種を用いたもの。
• サンプリングを削減しても信頼性を保証するため、正確性推定値の信頼区間を保証する統計フレームワークを採用する。
• 履歴のサンプリング記録を維持し、更新に効率的に適応することで、進化するKGへの対応を可能にするフレームワークの拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 人的アノテーションコストを最小限に抑えつつ、統計的信頼性を維持する知識グラフ正確性評価のためのサンプリング戦略をどのように設計できるか？
• RQ2 複数の三項節が同一エンティティを指す場合、エンティティクラスタリングはどのようにアノテーションコストを低減する役割を果たすか？
• RQ3 完全な再評価を実行せずに、進化する知識グラフにおけるインクリメンタルな正確性評価を効率的に行うにはどうすればよいか？
• RQ4 層別化、重み付き、またはリザーバーに基づくサンプリング技法の中で、動的KGにおけるコストと正確性の最良のトレードオフを実現するのはどれか？
• RQ5 人的作業を最大80%削減したとしても、強固な統計的保証（例：信頼区間）を達成できるか？

主な発見

• 提案されたフレームワークは、ベースラインのランダムサンプリングと比較して、静的KGでは最大60%のアノテーションコスト削減を達成した。
• 進化するKGでは、フレームワークが高精度な推定品質を維持しながら、最大80%のコスト削減を達成した。
• クラスタリングサンプリングは、関連する三項節間でエンティティ同定作業を再利用できることから、特に密度の高いエンティティクラスタにおいてコストを顕著に低減した。
• 二段階サンプリングと層別化技術により、エンティティタイプや述語にわたるバランスの取れた代表が確保され、推定の精度が向上した。
• 重み付きリザーバーサンプリングの変種は、低コストのオーバーヘッドで効率的なインクリメンタル評価を可能にし、リアルタイムのKG更新に適している。
• フレームワークは、サンプリングを削減しても統計的に妥当な信頼区間を提供し、信頼性を保証している。