[論文レビュー] HoloClean: Holistic Data Repairs with Probabilistic Inference

Theodoros Rekatsinas, Xu Chu+2 more|arXiv (Cornell University)|Feb 2, 2017

Data Quality and Management参考文献 31被引用数 57

ひとこと要約

HoloCleanは、整合性制約、外部データ、および統計的統計を確率モデルに統合して大規模なデータ修復を行い、多様なデータセットで約90%の精度と約76%以上のリコールを達成し、従来手法に比べてF1を2倍超改善します。

ABSTRACT

We introduce HoloClean, a framework for holistic data repairing driven by probabilistic inference. HoloClean unifies existing qualitative data repairing approaches, which rely on integrity constraints or external data sources, with quantitative data repairing methods, which leverage statistical properties of the input data. Given an inconsistent dataset as input, HoloClean automatically generates a probabilistic program that performs data repairing. Inspired by recent theoretical advances in probabilistic inference, we introduce a series of optimizations which ensure that inference over HoloClean's probabilistic model scales to instances with millions of tuples. We show that HoloClean scales to instances with millions of tuples and find data repairs with an average precision of ~90% and an average recall of above ~76% across a diverse array of datasets exhibiting different types of errors. This yields an average F1 improvement of more than 2x against state-of-the-art methods.

研究の動機と目的

• 複数の信号（整合性制約、外部データ、統計）を組み合わせた総合的なデータクレンジングの必要性を動機づける。
• データ修復のための確率モデルを自動生成するコンパイラベースのフレームワークを提案する。
• 百万件を超えるタプルを含む大規模データセットを修復するためのスケーラブルな確率推論を可能にする。
• 多様なデータセットにおいて、精度、リコール、およびF1の実証的改善を最先端手法と比較して示す。

提案手法

• 汚れたデータセットと修復制約のセットから自動的に確率モデルを生成する。
• 信号をグラフィカルモデルの特徴量として表現し、セルを修復するための確率推論を行う。
• 信号をDeepDiveベースの因子グラフへ変換するコンパイル手順を用い、各セルに対してランダム変数を持つ。
• ドメイン絞り込み、グループ単位のグラウンディング、硬い制約を事前分布へ緩和する近似によって、グラウンディングと推論を最適化する。
• 経験的リスク最小化を用いてモデルパラメータを学習し、MAP修復のためにギブスサンプリングを行う。
• 修復の周辺確率を提供してユーザーフィードバックとインクリメンタル学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の確率フレームワークは、整合性制約、外部データ、統計信号を効果的に組み合わせてデータ修復を行うことができるか。
• RQ2 百万単位のタプルを含むデータセットに対して、修復の品質を維持しつつグラウンディングと推論をどのようにスケールさせるか。
• RQ3 拡張性のために硬い制約を事前分布へ緩和する場合、修復精度にどのような影響があるか。
• RQ4 総合的な修復は、多様なデータセットにおいて、単一の信号（制約、外部データ、統計）のみに依存する方法を上回るか。

主な発見

• HoloCleanは平均精度を約90%達成。
• HoloCleanは平均リコールを約76%を上回る水準で達成。
• データセット全体で、HoloCleanは最先端手法に対して平均F1スコアを2倍超改善。
• すべての信号を組み合わせると、単一の信号のみを使用する場合よりもF1の向上が大きくなる（例：制約のみ、外部データのみ、統計のみのベースラインをそれぞれ上回る >2x の改善）。
• グラウンディング/プリューニングと近似技術のおかげで、百万単位のタプルを含むデータセットに対してもスケールする。