[论文解读] A Unified Approach to Ranking in Probabilistic Databases

Jian Li, Barna Saha+1 more|arXiv (Cornell University)|Apr 8, 2009

Data Management and Algorithms参考文献 54被引用 8

一句话总结

本文提出了一种统一框架，用于在概率数据库中进行排序，采用两种参数化的排序函数 PRF^ω 和 PRF^e，该框架推广了现有方法，并通过生成函数实现高效的 top-k 查询处理。主要贡献在于对相关概率数据实现可扩展的精确或近似排序，且可通过用户偏好学习参数。

ABSTRACT

The dramatic growth in the number of application domains that naturally generate probabilistic, uncertain data has resulted in a need for efficiently supporting complex querying and decision-making over such data. In this paper, we present a unified approach to ranking and top-k query processing in probabilistic databases by viewing it as a multi-criteria optimization problem, and by deriving a set of features that capture the key properties of a probabilistic dataset that dictate the ranked result. We contend that a single, specific ranking function may not suffice for probabilistic databases, and we instead propose two parameterized ranking functions, called PRF-w and PRF-e, that generalize or can approximate many of the previously proposed ranking functions. We present novel generating functions-based algorithms for efficiently ranking large datasets according to these ranking functions, even if the datasets exhibit complex correlations modeled using probabilistic and/xor trees or Markov networks. We further propose that the parameters of the ranking function be learned from user preferences, and we develop an approach to learn those parameters. Finally, we present a comprehensive experimental study that illustrates the effectiveness of our parameterized ranking functions, especially PRF-e, at approximating other ranking functions and the scalability of our proposed algorithms for exact or approximate ranking.

研究动机与目标

• 解决在不确定性与相关性使传统排序方法复杂化的概率数据库中排序元组的挑战。
• 认识到由于用户偏好与数据特征的冲突，单一排序函数无法适用于多样化概率数据集。
• 开发一种通用排序框架，统一现有方法，并允许灵活的参数化排序函数以适应不同数据与用户需求。
• 设计高效算法，基于生成函数实现对大规模相关概率数据库的精确与近似 top-k 查询处理。
• 通过用户反馈或偏好数据学习排序函数参数，实现在实际应用中个性化结果。

提出的方法

• 将概率数据库中的排序形式化为多准则优化问题，识别影响排序结果的关键特征。
• 提出两种参数化排序函数：PRF^ω（线性加权和）与 PRF^e（基于指数的函数），以推广并近似先前的排序函数。
• 开发基于生成函数的新算法，高效计算元组得分，即使在通过概率与/或树或马尔可夫网络建模的复杂相关性下也能保持高效。
• 针对具有互斥性与共现性相关性的数据集优化算法，实现在此类结构上的更优性能。
• 提出一种方法，通过 PRF^e 函数的线性组合近似任意排序函数，实现快速近似排序并可调精度。
• 设计一种偏好学习机制，从用户反馈或偏好数据中推断排序函数的最优参数。

实验结果

研究问题

• RQ1 是否存在一种单一的通用排序函数，能有效处理具有不同不确定性和相关性结构的多样化概率数据库？
• RQ2 如何对排序函数进行参数化，以推广并近似概率数据库中多种现有排序方法？
• RQ3 哪些高效的算法技术可支持对大规模相关概率数据集的精确或近似 top-k 查询处理？
• RQ4 如何从用户偏好中学习排序函数参数，以提升结果个性化？
• RQ5 使用如 PRF^e 这类更简单、参数化的替代方法近似复杂排序函数时，准确率与效率之间的权衡如何？

主要发现

• PRF^e 排序函数能以高精度近似概率数据库中广泛提出的多种排序函数。
• 基于生成函数的算法在时间复杂度上达到 O(n⁴2^tw)，其中 tw 为联结树的树宽，使在相关数据上的处理更加高效。
• 所提方法在具有复杂相关性的大规模概率数据库上表现出良好可扩展性，包括通过概率与/或树和马尔可夫网络建模的数据。
• 从用户偏好中学习排序函数参数，可实现与用户特定优先级一致的个性化 top-k 结果。
• 通过 PRF^e 函数的线性组合近似任意排序函数，可实现快速、可扩展且准确的近似排序，并具有可控的误差边界。
• 实验评估证实，PRF^e 在可扩展性与有效性方面优于 PRF^ω，尤其在具有复杂依赖关系的大数据集上表现更优。