[論文レビュー] A Bayesian Approach to Discovering Truth from Conflicting Sources for Data Integration

Bo Zhao, Benjamin I. P. Rubinstein+2 more|arXiv (Cornell University)|Mar 1, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 13被引用数 6

ひとこと要約

本稿では、誤検出と誤検出を別々にモデル化することで、真のエンティティ値とソース品質を同時に推定するベイジアン潜在真実モデルを提案する。この手法により、複数値属性設定における正確な真実特定が可能になる。効率的な線形時間推論を実現するため、コラプセッドギブスサンプリングを用い、実世界のデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

In practical data integration systems, it is common for the data sources being integrated to provide conflicting information about the same entity. Consequently, a major challenge for data integration is to derive the most complete and accurate integrated records from diverse and sometimes conflicting sources. We term this challenge the truth finding problem. We observe that some sources are generally more reliable than others, and therefore a good model of source quality is the key to solving the truth finding problem. In this work, we propose a probabilistic graphical model that can automatically infer true records and source quality without any supervision. In contrast to previous methods, our principled approach leverages a generative process of two types of errors (false positive and false negative) by modeling two different aspects of source quality. In so doing, ours is also the first approach designed to merge multi-valued attribute types. Our method is scalable, due to an efficient sampling-based inference algorithm that needs very few iterations in practice and enjoys linear time complexity, with an even faster incremental variant. Experiments on two real world datasets show that our new method outperforms existing state-of-the-art approaches to the truth finding problem.

研究の動機と目的

• 同じエンティティに関する不一致な情報を提供する複数のソースが存在するデータ統合の真実特定問題に対処すること。
• 単一の信頼性スコアではなく、誤検出率（FP）と誤検出率（FN）という2つの独立した側面としてソース品質をモデル化すること。
• 複数の著者やキャストメンバーといった複数値属性を真実推定でサポートすること。これは、従来の手法が効果的に処理できない。
• 教師なしで真実とソース品質を同時に学習できる、スケーラブルで原理的根拠のある推論アルゴリズムを開発すること。
• ストリーミングデータワークロードにおけるインクリメンタルかつオンラインの真実特定を可能にすること。

提案手法

• エンティティの真の値を表す潜在真実変数を含む確率的グラフィカルモデルを提案する。
• 誤検出率（FP）と誤検出率（FN）という2つの独立したパラメータによってソース品質をモデル化し、異なるエラー種別を捉える。
• 真の値から観測された主張が生成される生成プロセスを定義し、FPとFNで定義される誤差確率を用いる。
• 潜在真実変数を周辺化することで線形時間計算量を達成するため、コラプセッドギブスサンプリングを用いた効率的推論を実装する。
• 前回のサンプルを再利用し、影響を受けるコンポonentのみを更新することで、インクリメンタル推論を可能にし、オンライン導入を実現する。
• ベイジアンフレームワーク内で共役事前分布を用いて、真実分布やソース品質に関する事前知識を組み込む。

実験結果

リサーチクエスチョン

• RQ1 教師なしで真のエンティティ値とソース品質を同時に推定できるベイジアンモデルは存在するか？
• RQ2 誤検出と誤検出を別々のソース品質次元としてモデル化することで、特に複数値属性において真実特定の精度が向上するか？
• RQ3 提案手法は、大規模データセットにおいても効率的にスケーリングされ、高速に収束するか？
• RQ4 実世界のデータにおいて、最先端の真実特定手法と比較して、本手法はどの程度の性能を示すか？
• RQ5 本モデルは、ストリーミングデータ環境におけるインクリメンタル真実特定をサポートできるか？

主な発見

• 提案手法は、2つの実世界データセットにおいて、F1スコアと精度の両面で、従来の最先端手法を上回る性能を発揮した。
• 本手法は、データサイズに対して線形時間計算量を達成しており、実際には非常に少ないイテレーションで収束する。
• インクリメンタル版の推論アルゴリズムは、バッチ推論と比較して著しく高速でありながら、同等の精度を維持した。
• 本モデルは、誤検出率や誤検出率が高いソースを正しく同定できており、二面的な品質モデリングアプローチの有効性を裏付けた。
• 本手法は、複数の著者やキャストメンバーといった複数値属性を自然にサポートでき、従来の手法では処理できなかった。
• 実験結果から、誤検出と誤検出を別々に扱うことで、単一パrameterのソース品質モデルよりもより正確な真実推定が可能になることが確認された。