[論文レビュー] Duplication Detection in Knowledge Graphs: Literature and Tools

Elwin Huaman, Elias Kärle+1 more|arXiv (Cornell University)|Apr 17, 2020

Data Quality and Management参考文献 27被引用数 4

ひとこと要約

本稿は、知識グラフ（KGs）における重複検出（DD）ツールの包括的な文献レビューと性能評価を提示し、重複エンティティを検出するのに最も効果的なツールとしてDukeを特定している。本稿では、標準化された13ステップのDDワークフローを提案し、既存ツールの改善策を提示するとともに、矛盾するプロパティ値や動的データの処理におけるサポートの不足が顕在化していることを強調している。

ABSTRACT

In recent years, an increasing amount of knowledge graphs (KGs) have been created as a means to store cross-domain knowledge and billion of facts, which are the basis of costumers' applications like search engines. However, KGs inevitably have inconsistencies such as duplicates that might generate conflicting property values. Duplication detection (DD) aims to identify duplicated entities and resolve their conflicting property values effectively and efficiently. In this paper, we perform a literature review on DD methods and tools, and an evaluation of them. Our main contributions are a performance evaluation of DD tools in KGs, improvement suggestions, and a DD workflow to support future development of DD tools, which are based on desirable features detected through this study.

研究の動機と目的

• 知識グラフ（KGs）における重複エンティティによって引き起こされる不整合を解消するため、既存の重複検出（DD）ツールを特定・評価すること。
• KGsにおけるデータの多様性、スペルミス、および矛盾するプロパティ値の影響により、重複を検出することが困難である理由を分析すること。
• 将来のツール開発を支援し、エンティティ解決の整合性を向上させるために、標準化され拡張可能なDDワークフローを提案すること。
• 機能的および性能評価に基づき、現在のDDツールの改善策を提供すること。
• KGsにおける動的データおよび時間的変化を伴うエンティティ表現の処理におけるギャップを特定すること。

提案手法

• 知識グラフにおける最新のDDツールおよび手法を同定するため、体系的な文献レビューを実施した。
• ベンチマークデータセットを定義し、重複・非重複エンティティペアのラベル付けを可能にするゴールドスタンダードを作成した。
• 機能性、パフォーマンス、設定可能性、類似度メトリクスおよび統合戦略のサポートに基づいてツールを評価した。
• 前処理、特徴選択、正規化、比較、設定、統合をカバーする13ステップのDDワークフローを実装した。
• 類似度メトリクス（例：文字列類似度）および比較手法（例：ブロッキング、ソートドネルフィング）を用いてエンティティの一致を評価した。
• 遺伝的アルゴリズムおよびGUIベースの検証を用いて、DukeやSieveなどのツールにおける設定の最適化と結果の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 知識グラフにおける重複エンティティを特定する際、どの重複検出ツールが最も効果的かつ効率的であるか？
• RQ2 重複が検出された場合、既存のツールは矛盾するプロパティ値をどのように処理しているか？
• RQ3 現在のDDツールにおける使いやすさ、設定可能性、および複雑な類似度メトリクスのサポートに関する主な制限は何か？
• RQ4 標準化され再利用可能なワークフローは、将来のDDツールの開発と評価をどのように改善できるか？
• RQ5 動的データおよび時間的変化を伴うエンティティ表現の処理をサポートするために、どのような改善が必要か？

主な発見

• Dukeは、重複検出において最も効果的なツールであったが、2017年に最終更新された後、タスク1（重複の特定）のみをサポートしており、矛盾解決には対応していない。
• FAGIおよびSieveは、矛盾するプロパティ値の統合をサポートしており、DD問題のタスク2を対応している。
• 評価対象ツールの間で、15種類以上の前処理関数、20種類以上のコンパレータ、複数の統合戦略が確認されたが、実装は豊富ではあるが一貫性に欠けていた。
• 文字列類似度メトリクスが最も一般的に使用されていたが、複雑な重複ケースに対処するにはより高度なメトリクスが必要である。
• 十分なドキュメンテーションが整っていたものの、特に設定操作およびGUIインタラクションにおいて使いやすさの問題が多数のツールで観察された。
• 本研究では、動的データおよびエンティティプロパティの時間的変化の処理におけるサポートの不足が明らかになった。特に、クラウドソーシング型KGsにおいて顕著であった。