[論文レビュー] Bayesian Data Cleaning for Web Data

Yuheng Hu, Sushovan De+2 more|arXiv (Cornell University)|Apr 17, 2012

Data Quality and Management参考文献 13被引用数 6

ひとこと要約

本稿では、ノイズのあるウェブデータを、生成モデル（ベイジアンネットワーク）と誤りモデル（最大エントロピー）を同時に学習することで、完全に確率的なフレームワークを提案する。このフレームワークは、最小限のクリーンな訓練データでも、クリーンな値の堅牢な推論を可能にする。CFDベースの手法とは異なり、小さなノイズレベルでも失敗するが、1%のノイズ条件下でも最大87件の誤りを是正することができ、実世界のウェブデータにおいて優れた耐障害性と有効性を示している。

ABSTRACT

Data Cleaning is a long standing problem, which is growing in importance with the mass of uncurated web data. State of the art approaches for handling inconsistent data are systems that learn and use conditional functional dependencies (CFDs) to rectify data. These methods learn data patterns--CFDs--from a clean sample of the data and use them to rectify the dirty/inconsistent data. While getting a clean training sample is feasible in enterprise data scenarios, it is infeasible in web databases where there is no separate curated data. CFD based methods are unfortunately particularly sensitive to noise; we will empirically demonstrate that the number of CFDs learned falls quite drastically with even a small amount of noise. In order to overcome this limitation, we propose a fully probabilistic framework for cleaning data. Our approach involves learning both the generative and error (corruption) models of the data and using them to clean the data. For generative models, we learn Bayes networks from the data. For error models, we consider a maximum entropy framework for combing multiple error processes. The generative and error models are learned directly from the noisy data. We present the details of the framework and demonstrate its effectiveness in rectifying web data.

研究の動機と目的

• クリーンな訓練コーパスが入手できない状況下で、整合性のない、キュレーションされていないウェブデータを清掃するという、極めて重要な課題に取り組む。
• CFDベースの手法がノイズに極めて敏感であるのを克服し、データに0.1%の汚染が生じても失敗する状況を解消する。
• ノイズのあるデータのみから、生成プロセスと汚染プロセスの両方を学習するエンドツーエンドの確率的フレームワークを構築する。
• 各誤りタイプ（例：スペルミス、欠落）に対して個別ルールを必要とせず、統合的かつ堅牢に複数の誤りタイプを清掃できるようにする。
• さまざまなノイズレベルを想定した実世界のウェブデータセットにおいて、高い精度と効率性を実現する。

提案手法

• クリーンなデータ属性の連合分布を捉えるために、生成モデルとしてベイジアンネットワークを学習する。
• 複数の誤りプロセス（例：編集距離、分布的類似度）を組み合わせた最大エントロピーフレームワークを用いて、データ汚染をモデル化する。
• 真のクリーンな値を潜在変数とみなして、ベイジアン推定を実行し、各汚染済みタプルの最も確率の高いクリーンな値を推定する。
• 誤りモデルにおいて、編集距離（α）と分布的類似度（β）の重み付き組み合わせを用い、最適なα = 0.667×βを設定する。
• 候補値の事前確率と、観測されたノイズのある値が与えられたもとでの補正の尤度の両方をバランスさせながら推論を実行する。
• 生成モデルと誤りモデルの両方を、クリーンな訓練コーパスが不要なノイズのあるデータセットから直接学習する。

実験結果

リサーチクエスチョン

• RQ1 完全に確率的なフレームワークは、クリーンな訓練コーパスが存在しないノイズのあるウェブデータから、有効なデータクリーニングルールを直接学習できるか？
• RQ2 低ノイズレベル（例：0.1%）下で、本手法はCFDベースの手法と比較してどの程度耐障害性に優れているか？
• RQ3 複数の誤りタイプを統合した最大エントロピー誤りモデルは、単一の特徴に基づくクリーニング戦略をどの程度上回るか？
• RQ4 分布的類似度の重みβが、正しく補正された件数と誤検出（偽陽性）の間のトレードオフにどのように影響するか？
• RQ5 本フレームワークの計算効率は、データサイズやノイズレベルの変化に対してどの程度維持されるか？

主な発見

• CFDベースの手法は、データの0.1%にさえ汚染が生じると、機能的依存関係を発見できず、ノイズに対して極めて感受性が高いことが明らかになった。
• 1%のノイズ条件下で、本手法は誤りの31%を是正したが、CFDベースの手法はCND発見に失敗したため、0件の是正にとどまった。
• 最適なパラメータ設定（β = 3.0）により、全体で87件のクリーンな値が得られ、元の357件の誤りのうち87件が是正された。
• βが増加するにつれて誤検出の数は減少したが、是正された値の数も減少したため、補正コストと正確性の間のトレードオフが顕在化した。
• アルゴリズムは比較的うまくスケーリングされ、データサイズとノイズレベルが高くなると補正候補集合が大きくなるため、実行時間も増加した。
• 編集距離と分布的類似度の両方の特徴を統合した最大エントロピーモデルは、それぞれの特徴を個別に用いたモデルを上回る性能を示した。