[論文レビュー] ENFrame: A Platform for Processing Probabilistic Data

Sebastiaan J. van Schaik, Dan Olteanu+1 more|arXiv (Cornell University)|Sep 2, 2013

Data Management and Algorithms参考文献 30被引用数 4

ひとこと要約

ENFrame は、可能性のある世界における確率的計算として、決定論的で Python に似たプログラムを解釈することにより、不確実なデータの確率的クエリおよびマイニングを可能にする統合型データ処理プラットフォームである。このシステムは、相関関係を追跡し、結果の正確または近似確率分布を計算するための表現力豊かなイベント言語を採用しており、ナイーブまたは逐次的手法と比較して、センサデータにおける k-メディオイドなどのクラスタリングタスクで桁違いの性能向上を達成している。

ABSTRACT

This paper introduces ENFrame, a unified data processing platform for querying and mining probabilistic data. Using ENFrame, users can write programs in a fragment of Python with constructs such as bounded-range loops, list comprehension, aggregate operations on lists, and calls to external database engines. The program is then interpreted probabilistically by ENFrame. The realisation of ENFrame required novel contributions along several directions. We propose an event language that is expressive enough to succinctly encode arbitrary correlations, trace the computation of user programs, and allow for computation of discrete probability distributions of program variables. We exemplify ENFrame on three clustering algorithms: k-means, k-medoids, and Markov Clustering. We introduce sequential and distributed algorithms for computing the probability of interconnected events exactly or approximately with error guarantees. Experiments with k-medoids clustering of sensor readings from energy networks show orders-of-magnitude improvements of exact clustering using ENFrame over naïve clustering in each possible world, of approximate over exact, and of distributed over sequential algorithms.

研究の動機と目的

• 確率的データベースとデータマイニングの間のギャップを埋めるために、反復的マイニングパイプラインで相関関係のある不確実な入力データをサポートすること。
• ユーザーが明示的な確率的アノテーションを記述しないで標準的な決定論的プログラムを記述できるようにし、システムが確率的結果を計算すること。
• k-メディオイドのような複雑なデータマイニングワークロードに対して、誤差保証付きの正確および近似確率計算をサポートすること。
• 可能な世界の意味論を全データ処理パイプラインにわたって統合する統一されたフレームワークを提供すること。
• 入力が不確実であっても独立した入力を仮定するか、出力を決定論的に生成する既存のアプローチの制限を克服すること。

提案手法

• ENFrame は、ループ、リスト内挿出、データベース呼び出しを含む Python に似た言語で記述されたユーザープログラムを、可能な世界における確率的計算として解釈する。
• プログラム状態と相関関係の細かく制御されたトレースを可能にするために、証明可能性の半群を拡張したイベント言語を導入し、否定、集約、ループ、定義をサポートする。
• イベントの証明可能性を表すためにテンソル積構造 (Φ ⊗ v) を使用し、Φ は論理的条件を、v は値を表す。これにより確率計算が可能になる。
• 形式的な誤差保証付きの逐次的および分散アルゴリズムを用いて、相互に接続されたイベントの確率を計算する。
• 可能な世界間の構造的類似性を活用することで、明示的な列挙を回避し、正確および近似確率計算を両方サポートする。
• 外部のデータベースエンジンと統合し、イベントベースの証明可能性を用いて、k-メディオイドのような反復的データマイニングアルゴリズムに不確実性を伝搬する。

実験結果

リサーチクエスチョン

• RQ1 反復的データマイニングアルゴリズムを確率的データ上で実行する際、相関関係を保持し、結果の正確または近似確率分布を提供するにはどうすればよいか？
• RQ2 データマイニングパイプラインで生じる複雑で相関関係のあるイベントの確率を簡潔に表現・計算するにはどのような形式的枠組みが必要か？
• RQ3 確率的データベースとデータマイニングを一貫した意味論で統合する統一プラットフォームを設計することは可能か？
• RQ4 不確実なデータマイニングにおいて、すべての可能な世界を明示的に列挙するナイーブな方法よりも、著しく性能を向上させるにはどうすればよいか？
• RQ5 反復的データマイニングタスクにおける確率計算に分散アルゴリズムを使用する際のトレードオフと利点は何か？

主な発見

• ENFrame は、すべての可能な世界を明示的に列挙することなく、ナイーブなクラスタリング手法と比較して桁違いの性能向上を達成している。
• イベントベースの証明可能性と相関関係に配慮した計算により、k-メディオイドクラスタリングにおける正確確率計算の計算コストが低減されている。
• 誤差保証付きの近似確率計算は、スケーラビリティの観点で正確法を上回りながらも高い正確性を維持している。
• ENFrame における確率計算の分散アルゴリズムは、センサデータワークロードにおいて逐次的アルゴリズムと比較して顕著な高速化を示している。
• プラットフォームは、互いに排他的なセンサ読み取り値のような複雑な相関関係を適切に処理できており、相関関係を無視した場合に生じる誤ったクラスタリング割り当てを防いでいる。
• ENFrame のアプローチは、期待距離を用いた k-means や独立入力モデルを採用する既存のシステムではサポートされていない、整合的かつ意味論的に整合性のある確率的マイニングを可能にしている。