[論文レビュー] Probabilistic Models for Query Approximation with Large Sparse Binary Datasets

Dmitry Pavlov, Heikki Mannila+1 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 30

ひとこと要約

この論文では、頻度集合と最大エントロピーに基づくマルコフ確率場（MRF）モデルを提案し、大規模なスパースなバイナリデータセットにおけるリアルタイムクエリ選択的推定を改善する。MRFアプローチは、独立モデルやChow-Liuツリー・モデルに比べて著しく精度の高い確率推定を達成するが、計算コストが高いため、バケット消去法とクリークツリー・アルゴリズムを用いて構造的クエリおよびモデルにおけるスケーラブルな推論を実現することで、そのコストを軽減する。

ABSTRACT

Large sparse sets of binary transaction data with millions of records and thousands of attributes occur in various domains: customers purchasing products, users visiting web pages, and documents containing words are just three typical examples. Real-time query selectivity estimation (the problem of estimating the number of rows in the data satisfying a given predicate) is an important practical problem for such databases. We investigate the application of probabilistic models to this problem. In particular, we study a Markov random field (MRF) approach based on frequent sets and maximum entropy, and compare it to the independence model and the Chow-Liu tree model. We find that the MRF model provides substantially more accurate probability estimates than the other methods but is more expensive from a computational and memory viewpoint. To alleviate the computational requirements we show how one can apply bucket elimination and clique tree approaches to take advantage of structure in the models and in the queries. We provide experimental results on two large real-world transaction datasets.

研究の動機と目的

• 大規模なスパースなバイナリ取引データにおけるリアルタイムクエリ選択的推定の課題に対処すること。
• 数百万件のレコードと数千の属性を持つデータセットにおけるクエリの確率推定の精度を向上させること。
• 実世界のデータセットを用いて、MRF、独立モデル、Chow-Liuツリー・モデルといった確率的モデルを評価・比較すること。
• バケット消去法やクリークツリーといった構造に配慮した最適化技術を用いて、MRF推論の計算コストを低減すること。
• 確率的モデリングを用いて、実際のデータベースワークロードにおけるスケーラブルで効率的なクエリ近似を可能にすること。

提案手法

• 著者らは、スパースなバイナリデータ内の高次依存関係を捉えるために、頻度集合に基づいてトレーニングされたマルコフ確率場（MRF）モデルを採用する。
• MRFは、観測された頻度集合と整合する最も一様な分布を保証する最大エントロピー原理を用いて構築される。
• バケット消去法とクリークツリー・アルゴリズムが、モデルおよびクエリの両方における条件付き独立構造を活用して推論コストを低減するために適用される。
• MRF内の局所的グラフ構造を活用することで、結合クエリの効率的な確率推定が可能になる。
• 本手法は、属性の独立性を仮定する独立モデルと、一次のマルコフネットワークであるChow-Liuツリー・モデルと比較される。
• 推論は、スパースで高次元なバイナリデータに最適化された変数消去技術を用いて実行される。

実験結果

リサーチクエスチョン

• RQ1 MRFベースのモデルは、独立モデルやChow-Liuツリー・モデルに比べて、大規模なスパースなバイナリデータセットにおけるクエリ選択的推定において、どの程度優れているか？
• RQ2 頻度集合と最大エントロピー原理の使用は、確率的クエリ近似の精度を向上させることができるか？
• RQ3 MRF推論の計算オーバーヘッドはどの程度で、バケット消去法やクリークツリーといった構造に配慮したアルゴリズムによって低減可能か？
• RQ4 モデル構造とクエリ構造の相互作用が、推論効率にどの程度影響を及えるか？
• RQ5 提案手法は、数百万件の取引と数千の属性を持つ実世界のデータセットにスケーリング可能か？

主な発見

• 頻度集合と最大エントロピーを組み合わせたMRFモデルは、独立モデルやChow-Liuツリー・モデルに比べ、著しく精度の高い確率推定を提供する。
• 2つの大規模な実世界の取引データセットにおいて、MRFアプローチは選択的推定の面でベースラインモデルを上回る。
• 計算コストとメモリ使用量が高額であるものの、MRFモデルは高次元依存関係をモデル化できる能力のおかげで、優れた精度を達成する。
• バケット消去法とクリークツリー・アルゴリズムは、モデルおよびクエリ構造における条件付き独立性を活用することで、推論時間とメモリ使用量を効果的に削減する。
• 提案された最適化技術により、スケーラブルな推論が実現され、MRFモデルが大規模データベースにおけるリアルタイムクエリ近似に実用的であることが示された。
• 頻度集合からの構造的情報を組み込むことで、モデリングの忠実度と推定精度が顕著に向上することが実証された。