[论文解读] A Formal Framework For Probabilistic Unclean Databases

Christopher De, Ihab F. Ilyas+3 more|arXiv (Cornell University)|Jan 21, 2018

Data Quality and Management参考文献 39被引用 12

一句话总结

本文提出了一种用于脏数据库的正式概率框架（PUD），将数据清洗建模为噪声信道过程，结合关于干净数据的先验信念（意图）和错误机制（实现）。该框架确立了三个核心计算问题——清洗、概率查询回答与学习，并证明了在特定实例化下的可 tractability（可计算性），且在低噪声条件下可从单一脏数据库中学习参数。

ABSTRACT

Most theoretical frameworks that focus on data errors and inconsistencies follow logic-based reasoning. Yet, practical data cleaning tools need to incorporate statistical reasoning to be effective in real-world data cleaning tasks. Motivated by empirical successes, we propose a formal framework for unclean databases, where two types of statistical knowledge are incorporated: The first represents a belief of how intended (clean) data is generated, and the second represents a belief of how noise is introduced in the actual observed database. To capture this noisy channel model, we introduce the concept of a Probabilistic Unclean Database (PUD), a triple that consists of a probabilistic database that we call the intention, a probabilistic data transformator that we call the realization and captures how noise is introduced, and an observed unclean database that we call the observation. We define three computational problems in the PUD framework: cleaning (infer the most probable intended database, given a PUD), probabilistic query answering (compute the probability of an answer tuple over the unclean observed database), and learning (estimate the most likely intention and realization models of a PUD, given examples as training data). We illustrate the PUD framework on concrete representations of the intention and realization, show that they generalize traditional concepts of repairs such as cardinality and value repairs, draw connections to consistent query answering, and prove tractability results. We further show that parameters can be learned in some practical instantiations, and in fact, prove that under certain conditions we can learn a PUD directly from a single dirty database without any need for clean examples.

研究动机与目标

• 本文旨在将数据清洗形式化为一个概率推理问题，超越确定性修复模型。
• 旨在将统计推理整合到理论数据库框架中，解决基于最小性的方法的局限性。
• 目标包括定义三个核心计算问题：清洗、概率查询回答与PUD参数学习。
• 旨在为脏数据库中的学习与推理建立理论保证，尤其是在最小监督条件下的表现。
• 该框架旨在弥合实际数据清洗系统（如HoloClean）与形式化数据库理论之间的鸿沟。

提出的方法

• PUD被定义为三元组 (I, R, J⋆)，其中 I 为意图模型（干净数据库的先验分布），R 为实现模型（噪声过程），J⋆ 为观察到的脏数据库。
• 清洗被表述为最大后验概率（MAP）推理：寻找使 Pr(I) × Pr(J⋆|I) 最大的 I。
• 概率查询回答通过在可能的干净数据库分布上计算元组属于结果的概率来实现。
• 学习涉及使用最大似然法从训练数据中估计 I 和 R 的参数，同时考虑了有监督与无监督设置。
• 对于无监督学习，本文采用负对数似然最小化，并建立了在何种条件下目标函数变为凸函数。
• 理论分析聚焦于带一元约束的Gibbs parfactor/更新模型，利用MLE的渐近正态性与收敛性保证。

实验结果

研究问题

• RQ1 能否构建一个正式框架，利用噪声信道模型将数据清洗建模为概率推理问题？
• RQ2 在何种条件下，PUD参数学习目标函数为凸，从而支持全局优化？
• RQ3 能否在无干净训练样本的情况下，仅使用一个脏数据库学习PUD参数？
• RQ4 PUD框架如何推广传统的确定性修复模型（如子集修复与更新修复）？
• RQ5 在PUD框架中，清洗与查询回答的收敛性与复杂度特性如何？

主要发现

• 随着训练样本数量的增加，PUD参数的最大似然估计（MLE）以概率收敛到真实值。
• 在带一元约束的Gibbs parfactor/更新PUD模型中，参数 c 和 d 的 MLE 渐近服从正态分布，收敛速度为 O(1/√n)，需 O(ϵ−2) 个样本才能达到误差 ϵ。
• 在低噪声条件下（错误概率 ≤ p），负对数似然函数在意图参数 Ξ 上变为凸函数，从而支持全局优化。
• 通过在实现参数 d 上进行网格搜索，并对每个固定的 d 采用凸优化求解意图参数 c，可找到PUD参数的全局最优解。
• 对每个样本的负对数似然损失的梯度可相对于关系大小在多项式时间内计算。
• 该框架推广了确定性修复模型：基数修复与值修复在特定参数化下被证明是PUD模型的特例。