[論文レビュー] Defining and Mining Functional Dependencies in Probabilistic Databases

Sushovan De, Subbarao Kambhampati|arXiv (Cornell University)|May 26, 2010

Data Quality and Management参考文献 16被引用数 3

ひとこと要約

本稿は、確率的データベースにおける不確実なデータのための関数的依存の確率的拡張—pFD、pAFD、CpFD、CpAFD—を導入する。効率的なアルゴリズムを提案し、pFDに対してはプルーニングを用いた正確な手法、pAFDに対してはモンテカルロ法を採用。確率的意味論が単純な解釈とは著しく異なる依存の信頼性をもたらすことが示され、不確実な環境下でのデータ依存の正確なマイニングと検証が可能になる。

ABSTRACT

Functional dependencies -- traditional, approximate and conditional are of critical importance in relational databases, as they inform us about the relationships between attributes. They are useful in schema normalization, data rectification and source selection. Most of these were however developed in the context of deterministic data. Although uncertain databases have started receiving attention, these dependencies have not been defined for them, nor are fast algorithms available to evaluate their confidences. This paper defines the logical extensions of various forms of functional dependencies for probabilistic databases and explores the connections between them. We propose a pruning-based exact algorithm to evaluate the confidence of functional dependencies, a Monte-Carlo based algorithm to evaluate the confidence of approximate functional dependencies and algorithms for their conditional counterparts in probabilistic databases. Experiments are performed on both synthetic and real data evaluating the performance of these algorithms in assessing the confidence of dependencies and mining them from data. We believe that having these dependencies and algorithms available for probabilistic databases will drive adoption of probabilistic data storage in the industry.

研究の動機と目的

• 確率的データベースにおける関数的依存（FD）、近似FD（AFD）、条件付きFD（CFD）の論理的拡張を定義すること。
• 不確実なデータ環境下での依存の信頼性評価およびマイニングアルゴリズムの欠如に対処すること。
• 依存の意味論を形式化することで、確率的データベースにおけるスキーマ正規化、データ正定義、ソース選択を可能にすること。
• 実データおよび合成データから意味のある依存をマイニングし、依存の信頼性を計算するための効率的かつスケーラブルなアルゴリズムを開発すること。
• 確率的意味論が単純な解釈とは著しく異なる信頼性値をもたらすことが実証され、専用の依存モデルの必要性が裏付けられること。

提案手法

• 決定的FDの一般化としてpFDを提案。依存の信頼性は、タプル独立およびタプル排他的独立データベースモデルに基づき、確率的タプル上で計算される。
• 不確実なデータにおける近似依存を扱うためにpAFDを導入。効率性と正確性を兼ね備えるために、モンテカルロサンプリングアルゴリズムを用いて信頼性を評価する。
• 再帰的冗長性および特異性基準を活用して探索空間を削減するプルーニングを用いたpFD信頼性評価の正確なアルゴリズムを開発。
• 条件付き依存を確率的設定に拡張し、CpFDおよびCpAFDを定義。これらが他の依存タイプを包含し、耐障害性のあるパターン発見を可能にすることを示した。
• 不確実性に特化した信頼性推定およびプルーニングヒューリスティクスを統合することで、確率的データに適応したAFDMinerアルゴリズムを変更適用。
• pAFD信頼性推定にモンテカルロサンプリングを採用。収束性は合成データおよび実世界データ（例：DBLP）の両方で検証された。

実験結果

リサーチクエスチョン

• RQ1 従来の関数的依存は、確率的データベースにおいてどのように論理的に拡張可能か。その際、意味論の正しさを保つにはどうすればよいか。
• RQ2 pFD、pAFD、CpFD、CpAFDの関係は何か。互いにどのように一般化または包含するか。
• RQ3 確率的意味論は、単純で非確率的解釈と比較して、関数的依存の信頼性にどのように影響を与えるか。
• RQ4 確率的データベースにおける関数的依存のマイニングおよび評価に適した効率的かつスケーラブルなアルゴリズムを設計できるか。
• RQ5 提案されたアルゴリズムは、実世界の不確実なデータに対してどれほど速くかつ正確に収束するか。

主な発見

• pAFDの信頼性は常にpFDのそれよりも高いことが確認され、近似依存が不確実なデータにおいてより頑健であることが裏付けられた。
• CpAFDは最も包括的な依存形式であり、他のすべてのタイプを包含しており、耐障害性のあるデータパターン発見に最適である。
• pFD信頼性評価のプルーニングを用いた正確なアルゴリズムは、属性値の数に対して指数的だが、タプル数に対して線形であるため、中程度のサイズの関係に対してスケーラブルである。
• pAFD信頼性推定のモンテカルロアルゴリズムは、合成データおよび実データ（DBLPを含む）の両方で速やかに収束し、実用性が検証された。
• DBLPデータを用いた実験では、マイニングプロセスにおける特異性のしきい値を調整することで、依存の数と品質のトレードオフが可能であることが示された。高めのしきい値は、より特異的だが、一般化性が低い依存をもたらす。
• 本稿は、確率的データに単純にAFDを適用すると誤った信頼性値が得られることを実証した（例：動機づけ例では0.5ではなく正しくは0.75）。これにより、確率的意味論の必要性が明確になった。