[論文レビュー] A DNF Blocking Scheme Learner for Heterogeneous Datasets

Mayank Kejriwal, Daniel P. Miranker|arXiv (Cornell University)|Jan 8, 2015

Data Quality and Management参考文献 22被引用数 9

ひとこと要約

本稿では、RDFグラフや構造が異なるテーブルを含む異種データセットに対する、初めての教師なしDNFブロッキングスキーム学習者を提示する。動的スキーマ構築とインスタンスベースのスキーママッチャー（Dumas）を用い、手動ラベリングに依存せずに効果的なブロッキングを実現し、6つの実世界のデータセットペアにおいて、教師ありベースラインと同等の性能を達成する。

ABSTRACT

Entity Resolution concerns identifying co-referent entity pairs across datasets. A typical workflow comprises two steps. In the first step, a blocking method uses a one-many function called a blocking scheme to map entities to blocks. In the second step, entities sharing a block are paired and compared. Current DNF blocking scheme learners (DNF-BSLs) apply only to structurally homogeneous tables. We present an unsupervised algorithmic pipeline for learning DNF blocking schemes on RDF graph datasets, as well as structurally heterogeneous tables. Previous DNF-BSLs are admitted as special cases. We evaluate the pipeline on six real-world dataset pairs. Unsupervised results are shown to be competitive with supervised and semi-supervised baselines. To the best of our knowledge, this is the first unsupervised DNF-BSL that admits RDF graphs and structurally heterogeneous tables as inputs.

研究の動機と目的

• RDFグラフや構造が異なるテーブルを含む、異種データモデルにおけるDNFブロッキングスキーム学習者のギャップを埋める。
• 事前定義または完全なスキーママッピングに依存せずに、教師なしでDNFブロッキングスキームを学習可能にする。
• 既存の教師なし第二段階ER手法と統合することで、エンドツーエンドの教師なしエンティティレコグニションを実現する。
• 最小2パラメータ（kとκ）でのチューニングのみで、実世界の異種データセットペアにおいて堅牢な性能を示す。
• 従来のDNF-BSLを特別なケースとして一般化する汎用パイプラインを提供し、スキーマの不均一性とノイズに対処できる。

提案手法

• 実行時におけるプロパティの抽出により、RDFデータセットの動的プロパティテーブル表現を構築し、静的メタデータに依存せずにスキーマ推論を可能にする。
• インスタンスベースのスキーママッチャー（Dumas）を用いて、ノイズを含むスキーママッピングと重複候補を生成し、それをトレーニングシグナルとして再利用する。
• DNF-BSLを採用し、k（論理和項の数）とκ（重複信頼度の閾値）という2つのパラメータでのみ構成することで、教師なしでの堅牢なスキーム学習を実現する。
• 複雑なブロッキング条件を表現するために、新たなGBPs（一般化ブール述語）集合Gを導入し、スキームの表現力の向上を図る。
• スキーママッピングが利用できない場合のフォールバック機構を統合し、広範な適用可能性を確保する。
• 理論的実行時間解析と実験的検証を併用し、スケーラビリティと性能を確認する。

実験結果

リサーチクエスチョン

• RQ1 教師なしDNFブロッキングスキーム学習者が、RDFグラフや構造が異なるテーブルを含む異種データセットに効果的に適用可能か。
• RQ2 スキーマの不均一性が存在する状況下で、提案手法の教師なしパイプラインの性能が、教師ありおよび半教師ありベースラインと比べてどの程度か。
• RQ3 kとκという最小限のパラメータ設定で、手動チューニングなしに多様なドメインで堅牢な性能を達成できるか。
• RQ4 動的プロパティテーブル表現が、形式的なスキーマが欠落しているRDFデータセットに対しても効果的なブロッキングを可能にするか。
• RQ5 GBPs集合Gの表現力が、kを増加させることと比較して、性能とスケーラビリティに与える影響は。

主な発見

• 教師付きベースラインと同等の性能を、6つの実世界のデータセットペアで達成しており、手動ラベル付きトレーニングデータを一切使用していないにもかかわらず、優れた性能を示す。
• ノイズを含むスキーママッピングに対しても高い性能を維持しており、不完全なスキーママッチングに対しても堅牢であることが示された。
• より表現力の高いGBPs集合Gを用いることで、kを増加させることと比較して顕著な性能向上が得られ、統計的に有意な改善が確認された。
• わずかに少数のノイズを含むサンプル（nが小さい）でも十分な性能が達成可能であり、産業応用における効率性と実用性を裏付けた。
• パイプラインの実行時間はkに従って予測可能に増加し、実験的結果が理論的実行時間計算と一致しており、スケーラビリティを裏付けた。
• 本手法は、従来のDNF-BSLを特別なケースとして一般化しており、同種のテーブル、RDFデータセット、RDF-表形式の異種性に対しても適用可能である。