[論文レビュー] Gollum: A Gold Standard for Large Scale Multi Source Knowledge Graph Matching

Sven Hertling, Heiko Paulheim|arXiv (Cornell University)|Sep 15, 2022

Semantic Web and Ontologies被引用数 4

ひとこと要約

Gollum は、DBpedia から抽出されたウィキから得られた 4,149 個の知識グラフを対象に、275,000 以上の対応関係を含む大規模なゴールドスタンダードを提供する。これは、非教師ありおよび教師ありのマッチングアプローチの評価を可能にする3つの異なる分割を備えており、推移的閉包に強いテストセットも含む。信頼度フィルタリングを施したサブセットでは、正解率が最大 0.985 に達するなど、高い品質のアライメントを示している。

ABSTRACT

The number of Knowledge Graphs (KGs) generated with automatic and manual approaches is constantly growing. For an integrated view and usage, an alignment between these KGs is necessary on the schema as well as instance level. While there are approaches that try to tackle this multi source knowledge graph matching problem, large gold standards are missing to evaluate their effectiveness and scalability. We close this gap by presenting Gollum -- a gold standard for large-scale multi source knowledge graph matching with over 275,000 correspondences between 4,149 different KGs. They originate from knowledge graphs derived by applying the DBpedia extraction framework to a large wiki farm. Three variations of the gold standard are made available: (1) a version with all correspondences for evaluating unsupervised matching approaches, and two versions for evaluating supervised matching: (2) one where each KG is contained both in the train and test set, and (3) one where each KG is exclusively contained in the train or the test set.

研究の動機と目的

• 知識グラフマッチングシステムの評価に用いられる大規模かつマルチソースのゴールドスタンダードが不足しているという問題に対処すること。
• さまざまなトレーニングおよびテスト分割を用いた、非教師ありおよび教師ありのマッチングアプローチのベンチマーク化を可能にすること。
• マルチソース知識グラフ統合のシナリオにおけるスケーラビリティと有効性の評価を支援すること。
• 実世界の DBpedia から抽出された知識グラフに基づく、高品質で信頼度調整可能なデータセットを提供すること。
• データ漏洩の制御された防止措置を講じたトレーニングおよびテストセットを提供することで、将来的なマルチソースマッチングシステムの開発を促進すること。

提案手法

• ゴールドスタンダードは、大規模なウィキファームから DBpedia フレームワークを用いて抽出された 4,149 個の知識グラフから構築されている。
• 類似度スコアに基づく信頼度閾値と手動でのキュレートを組み合わせることで、インスタンス、クラス、プロパティのレベルで対応関係を確立している。
• 3 種類のデータセットバージョンをリリースしている：非教師あり評価用、トレーニングとテストに重複する KG を含むバージョン、推移的閉包の漏洩を防ぐために完全に分離された KG の分割を用いたバージョン。
• テキストコンテンツと URI 片段の tf-idf ベクトルに基づき、階層的凝集型クラスタリング（HAC）戦略を用いて、マルチソースマッチングにおける段階的マージプロセスをガイドしている。
• 2 つの 1:1 マッチャー（Alod2Vec と文字列ベースのマッチャー）を再利用し、信頼度のソートによる後処理を施して 1:1 アライメントを強制している。
• インスタンス、クラス、プロパティマッチングの各分野で、精度、再現率、F1 スコアを評価しており、信頼度閾値を適用することで耐性の評価も行っている。

実験結果

リサーチクエスチョン

• RQ1 反復的マージを用いたマルチソースマッチングに適応された既存の 1:1 知識グラフマッチングシステムの有効性はいかほどか？
• RQ2 推移的閉包によるデータ漏洩が、マルチソース知識グラフマッチングにおけるテストセットの信頼性に与える影響は何か？
• RQ3 信頼度閾値やマッチングタイプ（インスタンス、クラス、プロパティ）の違いに応じて、ゴールドスタンダードの品質はどのように変化するか？
• RQ4 教師ありトレーニングの分割は、非教師ありマッチングシステムのマルチソース環境下での性能向上に寄与するか？
• RQ5 大規模なマルチソース統合において、異なるマッチング戦略のスケーラビリティとパフォーマンスのトレードオフはどのようなものか？

主な発見

• ゴールドスタンダードには 4,149 個の知識グラフにまたがる 275,103 対応関係が含まれており、信頼度ベースのフィルタリングによって高い品質のアライメントが確認されている。
• 最高の信頼度サブセット（conf=1.0）では、精度が 0.985 に達しており、強固なアライメント品質を示している。
• 文字列ベースのマッチャーはインスタンスマッチングにおいて精度 0.959、F1 0.795 を達成し、この分野で Alod2Vec を上回っている。
• Alod2Vec はクラスマッチングの精度（0.842）を文字列ベースのマッチャー（0.829）よりも高く達成しており、意味的クラスアライメントにおいて優れた性能を示している。
• 再現率の値は低く保たれており（例：Alod2Vec でインスタンスの再現率は 0.390）、多くの真の対応関係が検出されていないことが示されており、改善の余地が明確に残っている。
• Alod2Vec の実行時間は 6 日間と著しく長く、埋め込みベースのマッチングに起因する計算コストの高さが主な要因である。