[论文解读] Bayesian Data Cleaning for Web Data

Yuheng Hu, Sushovan De+2 more|arXiv (Cornell University)|Apr 17, 2012

Data Quality and Management参考文献 13被引用 6

一句话总结

本文提出了一种完全概率化的框架，通过直接从噪声数据中联合学习生成模型（贝叶斯网络）和错误模型（最大熵模型），实现对噪声网络数据的清洗，即使在清洁训练数据极少的情况下也能实现稳健的干净值推断。与在低噪声水平下即失效的CFD方法不同，该方法在1%噪声水平下可纠正多达87个错误，展现出在真实网络数据上的优越鲁棒性和有效性。

ABSTRACT

Data Cleaning is a long standing problem, which is growing in importance with the mass of uncurated web data. State of the art approaches for handling inconsistent data are systems that learn and use conditional functional dependencies (CFDs) to rectify data. These methods learn data patterns--CFDs--from a clean sample of the data and use them to rectify the dirty/inconsistent data. While getting a clean training sample is feasible in enterprise data scenarios, it is infeasible in web databases where there is no separate curated data. CFD based methods are unfortunately particularly sensitive to noise; we will empirically demonstrate that the number of CFDs learned falls quite drastically with even a small amount of noise. In order to overcome this limitation, we propose a fully probabilistic framework for cleaning data. Our approach involves learning both the generative and error (corruption) models of the data and using them to clean the data. For generative models, we learn Bayes networks from the data. For error models, we consider a maximum entropy framework for combing multiple error processes. The generative and error models are learned directly from the noisy data. We present the details of the framework and demonstrate its effectiveness in rectifying web data.

研究动机与目标

• 解决在缺乏清洁训练语料的情况下，清洗不一致、未经整理的网络数据这一关键挑战。
• 克服基于CFD的方法对噪声的敏感性，该方法甚至在数据中存在0.1%的污染时也会失效。
• 开发一种端到端的概率框架，仅从噪声数据中学习数据生成过程和污染过程。
• 在无需为每类错误单独制定规则的前提下，实现对多种错误类型（如拼写错误、遗漏）的稳健统一清洗。
• 在不同噪声水平的真实网络数据集中，实现高精度和高效率的清洗。

提出的方法

• 学习一个贝叶斯网络作为生成模型，以捕捉干净数据属性的联合分布。
• 使用最大熵框架对数据污染进行建模，结合多种错误过程（如编辑距离、分布相似性）。
• 将真实干净值视为隐变量，通过贝叶斯估计推断每个被污染元组最可能的干净值。
• 在错误模型中使用编辑距离（α）和分布相似性（β）的加权组合，最优α = 0.667×β。
• 通过平衡候选值的先验概率和给定观测到的噪声值下的校正似然性，执行推理。
• 直接从噪声数据集中学习生成模型和错误模型，无需依赖清洁训练语料。

实验结果

研究问题

• RQ1 完全概率化框架能否直接从噪声网络数据中学习有效的数据清洗规则，而无需依赖清洁训练语料？
• RQ2 在低噪声水平（如0.1%）下，所提出方法与基于CFD的方法相比在鲁棒性方面表现如何？
• RQ3 结合多种错误类型的最大熵错误模型在多大程度上优于基于单一特征的清洗策略？
• RQ4 参数β（分布相似性权重）如何影响正确校正与误报之间的权衡？
• RQ5 该框架在不同数据规模和噪声水平下的计算效率如何？

主要发现

• 当数据中仅存在0.1%的污染时，基于CFD的方法完全无法发现任何函数依赖，凸显其对噪声的极端敏感性。
• 在1%噪声水平下，所提方法纠正了31%的错误，而基于CFD的方法因函数依赖发现失败而纠正了零个错误。
• 最优参数设置（β = 3.0）实现了整体87个干净值的增益，从初始数据集中的357个错误中纠正了87个。
• 随着β增大，误报数量减少，但被纠正的数值也减少，表明校正成本与准确率之间存在权衡。
• 该算法具有合理的可扩展性，执行时间随数据规模和噪声水平的增加而增长，原因在于校正候选集变大。
• 结合多种特征（编辑距离和分布相似性）的最大熵模型优于仅使用单一特征的模型。