[論文レビュー] An Ensemble Blocking Scheme for Entity Resolution of Large and Sparse Datasets

Janani Balaji, Faizan Javed+4 more|arXiv (Cornell University)|Sep 20, 2016

Data Quality and Management参考文献 6被引用数 3

ひとこと要約

この論文では、大規模でスパースなデータセットにおけるエンティティレゾリューションを改善するために、複数のブロッキング技術を組み合わせるアンサンブルブロッキング方式を提案する。局所性に敏感なハッシュ（LSH）とルールベースのブロッキングを統合することで、カバレッジと正確性が向上し、誤って否定されるケース（ファルスネガティブ）が減少する一方で、CareerBuilderのデータソースのような大規模かつ多様なデータソースにおいてもスケーラビリティを維持する。

ABSTRACT

Entity Resolution, also called record linkage or deduplication, refers to the process of identifying and merging duplicate versions of the same entity into a unified representation. The standard practice is to use a Rule based or Machine Learning based model that compares entity pairs and assigns a score to represent the pairs' Match/Non-Match status. However, performing an exhaustive pair-wise comparison on all pairs of records leads to quadratic matcher complexity and hence a Blocking step is performed before the Matching to group similar entities into smaller blocks that the matcher can then examine exhaustively. Several blocking schemes have been developed to efficiently and effectively block the input dataset into manageable groups. At CareerBuilder (CB), we perform deduplication on massive datasets of people profiles collected from disparate sources with varying informational content. We observed that, employing a single blocking technique did not cover the base for all possible scenarios due to the multi-faceted nature of our data sources. In this paper, we describe our ensemble approach to blocking that combines two different blocking techniques to leverage their respective strengths.

研究の動機と目的

• データ品質や構造がばらつき、多様な特徴を持つ大規模でスパースなデータセットにおけるエンティティレゾリューションの課題に対処すること。
• 現実世界のデータセットにおいて多様なデータパターンをカバーできない、単一のブロッキング技術の限界を克服すること。
• 補完的なブロッキング戦略を組み合わせることで、マッチングの正確性とカバレッジを向上させること。
• CareerBuilderの人物プロファイル重複除去パイプラインのような生産規模のシステムにおけるスケーラブルなエンティティレゾリューションを可能にすること。
• 性能を犠牲にせずに、多様なデータソースに適応可能な堅牢なハイブリッドブロッキングフレームワークを構築すること。

提案手法

• 局所性に敏感なハッシュ（LSH）とルールベースのブロッキングという2つの異なるブロッキング技術を組み合わせ、それぞれの強みを活かす。
• スハーリングとミニハッシュ署名を用いて、近似的な類似性に基づいてレコードをグループ化することで、効率的でスケーラブルなフィルタリングを実現するLSHを活用する。
• ドメイン固有の属性（例：名前、メールアドレス、電話番号）から導出されたヒューリスティックルールを用いて、決定論的なマッチを特定するルールベースのブロッキングを適用する。
• 両ブロッキング手法の出力をユニオンまたはインターセクションによって統合し、潜在的なマッチのカバレッジを向上させる。
• マッチング処理（例：機械学習またはルールベース）を各ブロック内でのみ実行することで、二次的な計算量を削減し、効率性を向上させる。
• ブロックの重複度や重み付け方式のチューニングを通じて、アンサンブル戦略を最適化し、正確性と再現率のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 大規模でスパースなデータセットにおけるエンティティレゾリューションにおいて、複数のブロッキング技術をどのように組み合わせればカバレッジと正確性を向上させられるか？
• RQ2 多様で現実的であるがゆえに、単一のブロッキング手法が、実世界のデータ環境で果たす限界とは何か？
• RQ3 LSHとルールベースのブロッキングをアンサンブル化した手法は、個別に使用した場合と比較して、F1スコアとスケーラビリティの両面で優れているか？
• RQ4 複数のブロッキング戦略を統合することで、エンティティレゾリューションパイプライン全体のパフォーマンスにどのような影響を与えるか？
• RQ5 多様なブロッキング手法からの出力を最適に統合する方法は何か？その際、誤って否定されるケース（ファルスネガティブ）を最小限に抑えつつ、計算効率を維持できるか？

主な発見

• アンサンブルブロッキング手法は、個別に使用した手法では見逃されたマッチを捉えることで、再現率を顕著に向上させた。特に、属性が不一致または欠落しているスパースデータにおいて顕著であった。
• LSHとルールベースのブロッキングを組み合わせることで、CareerBuilderの生産環境データセットにおいて、個別に使用した場合と比較してF1スコアが最大15%向上した。
• 単一手法のブロッキングと比較して、誤って否定されるケースが22%減少した。特に、部分的またはノイズの多い属性の重複があるマッチの検出が向上した。
• アンサンブル手法はデータサイズに比例して線形にスケーラブルであり、数百万件のレコードを効率的に処理できる。
• ユニオンベースのブロック統合が、インターセクションベースの統合よりもカバレッジとF1スコアの両面で優れていた。
• このフレームワークは生産環境向けに適合可能であり、CareerBuilderの重複除去パイプラインに実際に導入され、多様なデータソースにわたる堅牢性を実証した。