[論文レビュー] Entity Consolidation: The Golden Record Problem.

Dong Deng, Wenbo Tao+7 more|arXiv (Cornell University)|Sep 29, 2017

Data Quality and Management被引用数 3

ひとこと要約

本稿では、クラスタから一致ルールを抽出し、人間によるレビュー用にグループ化し、矛盾を解消する真実発見手法を適用することで、ゴールデンレコード生成を自動化するスケーラブルなエンティティ統合アルゴリズムを提案する。100のルールグループの検証のみで、98%の精度と75%の再現率を達成し、多数決によるコンSENSUSと組み合わせることでゴールデンレコードの精度が40%向上した。

ABSTRACT

Four key processes in data integration are: data preparation (i.e., extracting, transforming, and cleaning data), schema integration (i.e., identifying attribute correspondences), entity resolution (i.e., finding clusters of records that represent the same entity) and entity consolidation (i.e., merging each cluster into a 'golden record', which contains the canonical value for each attribute). In real-world scenarios, Master Data Management (MDM) is often employed to perform the last two steps using a 'match-merge' module, which is driven by a collection of user-written match and merge rules. However, it is well understood that such solutions often fail to scale to the sizes and complexity of problems currently being addressed. Scalable solutions to entity resolution have been previously developed to generate a collection of clusters of records representing the same entity. In this paper, we propose a scalable entity consolidation algorithm to merge these clusters into 'golden records'. We first automatically generate matching rules from the clusters and then group these rules into sets with common characteristics to cut down on the number which must be verified by a human. Next, for the human-approved rule groups, we apply them to merge the duplicate attribute values in the clusters. Finally, we employ existing truth discovery methods, such as majority consensus (MC), to resolve remaining conflicts in the clusters. We applied our methods on three real-world datasets. In a dataset with 31,023 clusters and 80,451 duplicate records, 72,239 matching rules were generated. By having a human con rm only 100 algorithm-generated rule groups, we achieved a recall of 75% and a precision of 98% for merging duplicate attribute values. When we invoked our algorithm prior to running MC, we improved the precision of golden record construction by 40%.

研究の動機と目的

• マスターデータマネジメント（MDM）におけるエンティティ統合の伝統的なマッチ・マージモジュールのスケーラビリティの制限を解決すること。
• 共通する特徴に基づいて自動生成された一致ルールをグループ化することで、ルール検証にかかる人的作業を削減すること。
• 自動ルール適用と真実発見手法を統合することで、ゴールデンレコード構築の精度を向上させること。
• 大規模な複雑な重複パターンを有する実世界のデータセットにおいて、提案手法の有効性を評価すること。

提案手法

• 31,023のクラスタ（合計80,451件の重複レコードを含む）から自動的に72,239の一致ルールを生成する。
• 共通する特徴に基づいて生成されたルールをグループ化し、人間による検証が必要な数を削減する。
• 人間が承認したルールグループを用いてクラスタ内での重複属性値を統合する。
• 残存する属性値の矛盾を解消するために、多数決（MC）を真実発見手法として採用する。
• ルールベース統合とコンセンサスベースの解決を組み合わせたハイブリッドアプローチを用いて、堅牢なゴールデンレコード構築を実現する。

実験結果

リサーチクエスチョン

• RQ1 自動ルール生成とグループ化は、人的作業を削減しつつも高い精度を維持できるか？
• RQ2 自動ルールによる事前処理は、ゴールデンレコード構築における真実発見の性能をどの程度向上させるか？
• RQ3 本手法は、複雑な重複パターンを有する大規模な実世界データセットへのスケーリングにおいて、どの程度有効か？
• RQ4 限定的な数の人の検証済みルールグループを用いる場合、再現率と精度のトレードオフはどのようなものか？

主な発見

• 本手法は、実世界のデータセットにおいて、31,023のクラスタ（合計80,451件の重複レコードを含む）から72,239の一致ルールを生成した。
• 100の人の承認済みルールグループの検証のみで、重複属性値の統合において98%の精度と75%の再現率を達成した。
• アルゴリズムを多数決コンセンサスの前段階に統合することで、ゴールデンレコード構築の精度が40%向上した。
• ルールグループ化戦略により、手作業による検証が必要なルール数が顕著に削減され、スケーラビリティが向上した。