[論文レビュー] Linked Data Integration with Conflicts

Jan Michelfeit, Tomáš Knap+1 more|arXiv (Cornell University)|Oct 27, 2014

Semantic Web and Ontologies参考文献 10被引用数 13

ひとこと要約

本稿では、リンクドデータ統合のための、衝突解決およびプロヴァナンス追跡を備えた新規データ統合アルゴリズムと、統合済みデータの品質を評価するための新規F品質指標を提案する。ODCleanStoreに実装され、実際のリンクドオープンデータ上で評価されたこの手法は、スキーマ、アイデンティティ、データの衝突を解決することで、データの要約性と整合性を向上させるとともに、マルチソースの文脈を活用して品質評価を実施する。

ABSTRACT

Linked Data have emerged as a successful publication format and one of its main strengths is its fitness for integration of data from multiple sources. This gives them a great potential both for semantic applications and the enterprise environment where data integration is crucial. Linked Data integration poses new challenges, however, and new algorithms and tools covering all steps of the integration process need to be developed. This paper explores Linked Data integration and its specifics. We focus on data fusion and conflict resolution: two novel algorithms for Linked Data fusion with provenance tracking and quality assessment of fused data are proposed. The algorithms are implemented as part of the ODCleanStore framework and evaluated on real Linked Open Data.

研究の動機と目的

• 標準化されたメタデータが存在しない状況下でのリンクドデータ統合における課題、特に衝突解決とデータ品質評価の課題に取り組むこと。
• スケーラブルでプロヴァナンスに配慮したデータ統合アルゴリズムを構築し、異種のリンクドデータソースにおけるスキーマ、アイデンティティ、データの衝突を処理すること。
• F品質—複数のソースにわたる衝突の文脈を考慮する新規のデータ品質指標—を導入し、データ統合における意思決定を向上させること。
• 段階的かつ継続的な更新が可能なモジュラー枠組みを提供することで、実用的で「必要に応じて」データ統合を実現すること。
• 実世界のリンクドオープンデータ上でこのアプローチを評価し、企業およびオープンデータ環境における実現可能性とパフォーマンスを示すこと。

提案手法

• データ統合アルゴリズムは、標準的なURIとプロヴァナンス追跡を用いて、複数のRDFソースのスキーマ、アイデンティティ、属性値の衝突を解決することで統合を行う。
• 空白ノードは、自律的エンティティまたは構造化プロパティとして扱い、柔軟な統合を可能にするために設定可能な処理を採用する。
• F品質指標は、衝突解決の結果と複数ソース間の値の一貫性を測定することで、統合済みデータの品質を評価する。衝突する値に対しては距離ベースの比較を用いる。
• 部分的に物性化されたアプローチにより、全データセットの再処理なしに動的更新が可能なインクリメンタル処理をサポートする。
• システムはODCleanStoreおよびODCS-FusionToolに実装されており、SPARQLベースのクエリと衝突に配慮したデータ取得を可能にする。
• プロヴァナンス追跡は全体に埋め込まれており、データラインレージと品質意思決定を元データソースまで追跡可能にしている。

実験結果

リサーチクエスチョン

• RQ1 リンクドデータソースにおける衝突する値を、プロヴァナンスと品質を保持したまま効果的に解決する方法は何か？
• RQ2 ソース固有の品質のみではなく、衝突解決の文脈を考慮する適切な統合済みデータの品質指標とは何か？
• RQ3 グローバルな識別子が存在しない状況で、空白ノードを効果的に統合処理するにはどうすればよいか？
• RQ4 衝突に配慮したデータ統合は、実世界のリンクドオープンデータにおいて、どの程度データの要約性と整合性を向上させるか？
• RQ5 「必要に応じて」インクリメンタルに処理できるデータ統合アプローチは、企業およびオープンデータ環境において、効率的かつスケーラブルに実現可能か？

主な発見

• 提案されたデータ統合アルゴリズムは、実際のリンクドオープンデータに適用したところ、特に衝突する値やスキーマの異種性の解決において、データの要約性と整合性が顕著に向上した。
• F品質指標は、衝突解決による品質向上を的確に捉え、明示的な品質メタデータがなくてもデータ消費者が意思決定を下せるようにした。
• プロヴァナンス追跡により、データラインレージの完全な追跡が可能となり、統合済みデータの信頼性と監査可能性を高めた。
• パフォーマンス評価では、SPARQLによるデータ取得が実行時間の最大90％を占めており、キャッシュ化と並列処理の必要性を浮き彫りにした。
• 本システムは、1年以上にわたりOpenData.czイニシャチブで活発的に利用されており、チェコの公共契約およびEU調達データを処理しており、長期的な実現可能性と実用的価値を示している。
• フレームワークはインクリメンタルな更新と動的スキーマの進化をサポートしており、実世界での採用に不可欠な「必要に応じて」アプローチを実現している。