[論文レビュー] Variational Bayes for Merging Noisy Databases

Tamara Broderick, Rebecca C. Steorts|arXiv (Cornell University)|Oct 17, 2014

Data Quality and Management参考文献 14被引用数 5

ひとこと要約

本稿では、ノイジーで大規模なデータベースにおけるスケーラブルなベイジアンエンティティレゾリューションのための変分ベイズ手法を提案する。MCMC手法に代わり、平均場近似を用いることで高速化を実現する。この手法により、クラスタサイズがデータサイズに比例して線形に増加する小クラスタリング問題に直面しても、効率的な不確実性の定量化とレコードの固有の潜在的個人へのクラスタリングが可能になる。

ABSTRACT

Bayesian entity resolution merges together multiple, noisy databases and returns the minimal collection of unique individuals represented, together with their true, latent record values. Bayesian methods allow flexible generative models that share power across databases as well as principled quantification of uncertainty for queries of the final, resolved database. However, existing Bayesian methods for entity resolution use Markov monte Carlo method (MCMC) approximations and are too slow to run on modern databases containing millions or billions of records. Instead, we propose applying variational approximations to allow scalable Bayesian inference in these models. We derive a coordinate-ascent approximation for mean-field variational Bayes, qualitatively compare our algorithm to existing methods, note unique challenges for inference that arise from the expected distribution of cluster sizes in entity resolution, and discuss directions for future work in this domain.

研究の動機と目的

• 数百万乃至数十億レコードを含む大規模なデータベースにおける、MCMCベースのベイジアンエンティティレゾリューションのスケーラビリティの制限を克服すること。
• 高速かつスケーラブルな推論を可能にしつつ、原理的で不確実性の定量化を保持する変分ベイズ近似を開発すること。
• クラスタ（個人）が小さく有限である小クラスタリング問題を、データ増加に伴いクラスタ比率が非ゼロのまま保たれる古典的混合モデルとは異なり、別個にモデル化すること。
• カテゴリカルデータと潜在的個人を伴うエンティティレゾリューションに特化した、座標勾配法による平均場変分推論のアルゴリズムを導出すること。
• 将来的にデータサイズに応じて潜在的個人の数が増加する非パラメトリックモデルの基盤を築くこと。

提案手法

• 各レコードが潜在的個人のノイズのある観測値である生成モデルを提案。カテゴリカルなフィールドと固定された潜在的個人数Kを想定する。
• 個々の個人に特有のフィールド分布βとレコードから個人への割り当てzの共同事前分布を用いる。βにはディリクレ事前分布、zにはカテゴリカル事前分布を設定する。
• 平均場変分ベイズを適用し、近似事後分布をq(β,z) = ∏_d,r q(z_dr|φ_dr) × ∏_k,f q(β_kf|λ_kf) と因数分解。それぞれの項にカテゴリカルおよびディリクレの変分分布を適用する。
• 座標勾配更新式を導出：λ_kfv ← A_v + Σ_d,r φ_drk 1{x_drf = v} および φ_drk ∝ exp(Σ_f,v 1{x_drf = v} [ψ(λ_kfv) - ψ(Σ_u λ_kfu)])
• クラスタ数Kを初期段階では固定とし、将来的にはKがデータサイズに応じて増加可能とする。
• 小クラスタリング問題を主な課題と特定。標準モデルとは異なり、クラスタサイズがデータ増加に伴い増加しないため、不確実性がゼロに収束しない。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズは、大規模でノイジーなデータベースにおけるエンティティレゾリューションにスケーラブルなベイジアン推論をどのように適合できるか？
• RQ2 クラスタサイズが有限で、データサイズに比例して線形に増加する小クラスタリング問題が、推論にどのような特異な課題をもたらすか？
• RQ3 提案手法の平均場変分近似は、SMEREDなどの既存のMCMCベースのベイジアン手法と比較して、精度と速度の面でどのように異なるか？
• RQ4 小クラスタリング状態をモデル化するために必要な仮定は何か？また、古典的混合モデルとはどのように異なるか？
• RQ5 変分推論は、データサイズに応じて潜在的個人数が増加可能な非パラメトリックモデルへどのように拡張可能か？

主な発見

• 提案手法である変分ベイズ法により、ベイジアンエンティティレゾリューションにおけるスケーラブルな推論が実現され、MCMC法に比べて著しく高速化しながらも、不確実性の定量化を維持している。
• クラスタを有限サイズのエンティティとしてモデル化することで、小クラスタリング問題に効果的に対処しており、データ増加に伴いクラスタ比率が非ゼロのまま保たれるという仮定を回避している。
• 座標勾配変分推論アルゴリズムにより、クラスタ割り当て（φ）とフィールド分布パラメータ（λ）の両方について閉形式の更新式が得られ、効率的な最適化が可能である。
• アルゴリズムはKを固定する仮定の下で導出されているが、将来的にKがデータサイズに応じて増加するモデルへも拡張可能であり、今後の研究で探求を予定している。
• 著者らは、古典的ベイジアンクラスタリングモデル（例：LDA、ディリクレ過程）が、クラスタサイズが漸近的に増加すると仮定しているため、エンティティレゾリューションには不適切であると指摘している。
• 本稿では、小クラスタリング状態においても、潜在的個人に関する不確実性がゼロに収束しないことから、新たな正則性仮定と推論技術の必要性が強調されている。