[论文解读] ENFrame: A Platform for Processing Probabilistic Data

Sebastiaan J. van Schaik, Dan Olteanu+1 more|arXiv (Cornell University)|Sep 2, 2013

Data Management and Algorithms参考文献 30被引用 4

一句话总结

ENFrame 是一个统一的数据处理平台，通过将确定性 Python 类程序解释为可能世界上的概率计算，实现了对不确定数据的概率查询与挖掘。它使用一种表达力强的事件语言来追踪相关性，并计算结果的精确或近似概率分布，在传感器数据上的聚类任务（如 k-medoids）中，相比朴素或顺序方法，实现了数量级的性能提升。

ABSTRACT

This paper introduces ENFrame, a unified data processing platform for querying and mining probabilistic data. Using ENFrame, users can write programs in a fragment of Python with constructs such as bounded-range loops, list comprehension, aggregate operations on lists, and calls to external database engines. The program is then interpreted probabilistically by ENFrame. The realisation of ENFrame required novel contributions along several directions. We propose an event language that is expressive enough to succinctly encode arbitrary correlations, trace the computation of user programs, and allow for computation of discrete probability distributions of program variables. We exemplify ENFrame on three clustering algorithms: k-means, k-medoids, and Markov Clustering. We introduce sequential and distributed algorithms for computing the probability of interconnected events exactly or approximately with error guarantees. Experiments with k-medoids clustering of sensor readings from energy networks show orders-of-magnitude improvements of exact clustering using ENFrame over naïve clustering in each possible world, of approximate over exact, and of distributed over sequential algorithms.

研究动机与目标

• 通过在迭代挖掘流水线中支持相关联的不确定输入数据，弥合概率数据库与数据挖掘之间的差距。
• 使用户能够编写无需显式概率注解的标准确定性程序，同时系统自动计算概率结果。
• 为复杂的数据挖掘工作负载（如聚类）提供具有误差保证的精确和近似概率计算。
• 提供一个统一框架，将可能世界语义贯穿整个数据处理流水线。
• 克服现有方法的局限性，这些方法假设输入独立或即使输入数据不确定也产生确定性输出。

提出的方法

• ENFrame 将用户使用类似 Python 的语言编写的程序（包含循环、列表推导式和数据库调用）解释为在可能世界上的概率计算。
• 它引入了一种事件语言，扩展了证明力半环以支持否定、聚合、循环和定义，实现对程序状态和相关性的细粒度追踪。
• 系统使用张量积结构（Φ ⊗ v）表示事件证明力，其中 Φ 编码逻辑条件，v 表示值，从而支持概率计算。
• 它使用顺序和分布式算法计算相互关联事件的概率，并提供形式化的误差保证。
• 通过利用可能世界之间的结构相似性，避免显式枚举，平台支持精确和近似概率计算。
• 它与外部数据库引擎集成，并使用基于事件的证明力将不确定性传播到 k-medoids 等迭代数据挖掘算法中。

实验结果

研究问题

• RQ1 如何在保留相关性的同时，在概率数据上执行迭代数据挖掘算法，并提供结果的精确或近似概率分布？
• RQ2 需要何种形式化语言才能简洁地表示并计算数据挖掘流水线中出现的复杂相关事件的概率？
• RQ3 能否设计一个统一平台，支持概率数据库与数据挖掘，并在整个流水线中保持一致的语义？
• RQ4 如何在不确定数据挖掘中显著提升性能，超越对所有可能世界的朴素枚举？
• RQ5 在迭代数据挖掘任务中，使用分布式算法进行概率计算的权衡与优势是什么？

主要发现

• ENFrame 通过避免显式枚举所有可能世界，在朴素聚类方法上实现了数量级的性能提升。
• 基于事件的证明力和相关性感知计算显著降低了 k-medoids 聚类中精确概率计算的计算成本。
• 具有误差保证的近似概率计算在可扩展性方面优于精确方法，同时保持了高精度。
• 在传感器数据工作负载中，ENFrame 中的概率计算分布式算法相比顺序算法表现出显著的加速效果。
• 该平台成功处理了输入数据中的复杂相关性（如互斥的传感器读数），防止了忽略相关性时导致的错误聚类分配。
• ENFrame 的方法实现了稳健且语义兼容的概率挖掘，这是现有系统（如使用期望距离的 k-means 或独立输入模型）所不支持的。