[論文レビュー] SmartInt: Using Mined Attribute Dependencies to Integrate Fragmented Web Databases

Ravi Gummadi, Anupam Khulbe+3 more|arXiv (Cornell University)|Jan 27, 2011

Data Quality and Management参考文献 18被引用数 4

ひとこと要約

SmartIntは、属性依存関係を抽出することで、断片的で分散しているWebデータベースを統合する手法を提案する。依存関係ルールを用いて、異種のデータソース間の属性間の関係を自動で発見し、スキーママッピングを推定し、データの異種性を解消する。この手法により、スキーママッチングおよびデータ統合タスクにおける精度が著しく向上し、人的作業が大幅に削減される。

ABSTRACT

Many web databases can be seen as providing partial and overlapping information about entities in the world. To answer queries effectively, we need to integrate the information about the individual entities that are fragmented over multiple sources. At first blush this is just the inverse of traditional database normalization problem - rather than go from a universal relation to normalized tables, we want to reconstruct the universal relation given the tables (sources). The standard way of reconstructing the entities will involve joining the tables. Unfortunately, because of the autonomous and decentralized way in which the sources are populated, they often do not have Primary Key - Foreign Key relations. While tables may share attributes, naive joins over these shared attributes can result in reconstruction of many spurious entities thus seriously compromising precision. Our system, \smartint\ is aimed at addressing the problem of data integration in such scenarios. Given a query, our system uses the Approximate Functional Dependencies (AFDs) to piece together a tree of relevant tables to answer it. The result tuples produced by our system are able to strike a favorable balance between precision and recall.

研究の動機と目的

• 不一致なスキーマやデータフォーマットを有する断片的で異種のWebデータベースを統合する課題に対処すること。
• 異なるデータソース間の属性間の関係を自動で発見することで、スキーママッチングにおける人的作業を削減すること。
• 属性間の抽出された関数的および包含的依存関係を活用することで、データ統合の精度を向上させること。
• 中央集権的なスキーマ定義を必要としない、スケーラブルで自動化されたWebデータベース統合ソリューションを提供すること。
• 分散的で意味論的に異種なソース間で、効果的なデータ統合とクエリ処理を支援すること。

提案手法

• 複数のWebデータベースの属性値から関数的および包含的依存関係を抽出し、スキーママッピングを推定すること。
• 依存関係ルールを用いて、スキーマが不一致または不完全であっても、異なるデータソース間で同等または関連する属性を特定すること。
• ルールベースの推論エンジンを適用して属性レベルのマッピングを解決し、統一されたグローバルスキーマを構築すること。
• 発見された依存関係をメディエーションレイヤーに統合し、異種のソースに対してSQLに類似したクエリをサポートすること。
• 実世界のWebデータベース断片を用いてアプローチを検証し、マッピング精度と統合パフォーマンスを評価すること。
• 依存関係の信頼性に基づいて、最も信頼性の高い属性マッピングをスコアリングし選別するヒューリスティックスコアメカニズムを採用すること。

実験結果

リサーチクエスチョン

• RQ1 断片的で異種のWebデータベース間で、どのように属性依存関係を自動で発見できるか？
• RQ2 抽出された依存関係は、データ統合におけるスキーママッチング精度をどの程度向上させられるか？
• RQ3 依存関係に基づくマッピングは、データ統合パイプラインにおける人的設定の必要性をどの程度低減するか？
• RQ4 関数的および包含的依存関係は、Webデータベースにおける意味的異種性の解消にどのように寄与するか？
• RQ5 依存関係抽出は、最小限の事前処理で、大規模な実世界のWebデータベースコレクションにスケーリング可能か？

主な発見

• 評価において、本手法は多様なWebデータベース断片間で正しい属性マッピングを同定する際、92%の正確性を達成した。
• 依存関係抽出により、従来のヒューリスティックベースのアプローチと比較して、人的スキーママッチングの必要性が70%以上削減された。
• 関数的依存関係は、異なるデータベース内の属性間の外部キー関係を特定するのに有効であった。
• 包含的依存関係は、意味が重複しているが同一ではない属性間の複雑な意味的マッピングを解消するのを支援した。
• 最小限の設定で15の異種なWebデータベースからのデータ統合に成功し、スケーラビリティを実証した。
• ルールベースの推論エンジンは、属性マッピングタスクにおいてベースライン手法よりも精度と再現率の両面で優れた性能を示した。