[論文レビュー] A Formal Framework For Probabilistic Unclean Databases

Christopher De, Ihab F. Ilyas+3 more|arXiv (Cornell University)|Jan 21, 2018

Data Quality and Management参考文献 39被引用数 12

ひとこと要約

本稿は、データクリーニングをノイジーチャネルプロセスとしてモデル化する、不純なデータベース（PUD）の形式的確率的フレームワークを導入する。これは、クリーンなデータに関する事前信念（意図）と誤りメカニズム（実現）を組み合わせるものである。3つの核心的計算問題—クリーニング、確率的クエリ応答、学習—を確立し、特定のインスタンス化において tractable であることを証明するとともに、低ノイズ条件下で単一の不純なデータベースからパラメータを学習可能であることを示している。

ABSTRACT

Most theoretical frameworks that focus on data errors and inconsistencies follow logic-based reasoning. Yet, practical data cleaning tools need to incorporate statistical reasoning to be effective in real-world data cleaning tasks. Motivated by empirical successes, we propose a formal framework for unclean databases, where two types of statistical knowledge are incorporated: The first represents a belief of how intended (clean) data is generated, and the second represents a belief of how noise is introduced in the actual observed database. To capture this noisy channel model, we introduce the concept of a Probabilistic Unclean Database (PUD), a triple that consists of a probabilistic database that we call the intention, a probabilistic data transformator that we call the realization and captures how noise is introduced, and an observed unclean database that we call the observation. We define three computational problems in the PUD framework: cleaning (infer the most probable intended database, given a PUD), probabilistic query answering (compute the probability of an answer tuple over the unclean observed database), and learning (estimate the most likely intention and realization models of a PUD, given examples as training data). We illustrate the PUD framework on concrete representations of the intention and realization, show that they generalize traditional concepts of repairs such as cardinality and value repairs, draw connections to consistent query answering, and prove tractability results. We further show that parameters can be learned in some practical instantiations, and in fact, prove that under certain conditions we can learn a PUD directly from a single dirty database without any need for clean examples.

研究の動機と目的

• 本稿の目的は、データクリーニングを確率的推論問題として形式化し、決定的修復モデルを越えることである。
• 統計的推論を理論的データベース枠組みに統合し、最小性に基づくアプローチの限界を克服することを目的としている。
• クリーニング、確率的クエリ応答、PUDパラメータ学習の3つの核心的計算問題を定義することを目的としている。
• 特に最小限の監視条件下で、不純なデータベースにおける学習および推論の理論的保証を確立することを目的としている。
• 実用的なデータクリーニングシステム（例：HoloClean）と形式的データベース理論の橋渡しをすることを目的としている。

提案手法

• PUDは三元組 (I, R, J⋆) として定義され、I は意図モデル（クリーンなデータベース上の事前分布）、R は実現モデル（ノイズプロセス）、J⋆ は観測された不純なデータベースを表す。
• クリーニングは最大事後確率（MAP）推論として定式化され、Pr(I) × Pr(J⋆|I) を最大化する I を求める。
• 確率的クエリ応答は、可能なクリーンなデータベース全体の分布を用いて、タプルが結果に含まれる確率を計算する。
• 学習は、訓練データからの最尤推定を用いて I および R のパラメータを推定するもので、監督ありおよび非監督ありの設定を検討している。
• 非監督学習では、負の対数尤度最小化を用い、目的関数が凸になる条件を確立している。
• 理論的分析は、一元制約を伴うGibbsパラファクタ/アップデートモデルに焦点を当て、MLEの漸近正規性および収束保証を活用している。

実験結果

リサーチクエスチョン

• RQ1 ノイジーチャネルモデルを用いて、データクリーニングを確率的推論問題として形式化するフレームワークを開発可能か？
• RQ2 PUDパラメータの学習目的関数が凸になる条件は何か？ これによりグローバル最適化が可能になる。
• RQ3 クリーンな訓練例が存在しない状況でも、単一の不純なデータベースのみを用いてPUDパラメータを学習可能か？
• RQ4 PUDフレームワークは、部分集合修復および更新修復といった従来の決定的修復モデルをどのように一般化するか？
• RQ5 PUDフレームワークにおけるクリーニングおよびクエリ応答の収束性および計算複雑性の性質は何か？

主な発見

• PUDパラメータの最尤推定（MLE）は、訓練例の数が増加するにつれて確率的に真の値に収束する。
• 一元制約を伴うGibbsパラファクタ/アップデートPUDモデルにおけるパラメータ c および d のMLEは、漸近的に正規分布に従い、収束速度は O(1/√n) である。誤差 ϵ を達成するには O(ϵ−2) 個の例が必要である。
• 低ノイズ条件（誤り確率 ≤ p）下では、意図パラメータ Ξ における負の対数尤度が凸になるため、グローバル最適化が可能になる。
• 実現パラメータ d についてのグリッドサーチと、各固定 d に対して意図パラメータ c についての凸最適化を組み合わせることで、PUDパラメータのグローバル最適解が得られる。
• 各例に対する負の対数尤度損失の勾配は、関係のサイズに関して多項式時間で計算可能である。
• フレームワークは決定的修復モデルを一般化する：基数修復および値修復は、特定のパラメータ化のもとでPUDモデルの特別なケースであることが示された。