[论文解读] Fast and Simple Relational Processing of Uncertain Data

Lyublena Antova, Thomas Jansen+2 more|ArXiv.org|Jul 11, 2007

Data Management and Algorithms参考文献 11被引用 5

一句话总结

本文提出U-关系，一种用于不确定数据库的简洁属性级表示方法，支持使用标准RDBMS技术进行高效纯关系处理。通过利用垂直分割和世界表模型，U-关系在多项式时间内评估正关系代数查询，同时在空间表示上相比元组级和谱系表示法实现指数级紧凑性，且评估性能随数据规模和不确定性水平线性增长。

ABSTRACT

This paper introduces U-relations, a succinct and purely relational representation system for uncertain databases. U-relations support attribute-level uncertainty using vertical partitioning. If we consider positive relational algebra extended by an operation for computing possible answers, a query on the logical level can be translated into, and evaluated as, a single relational algebra query on the U-relation representation. The translation scheme essentially preserves the size of the query in terms of number of operations and, in particular, number of joins. Standard techniques employed in off-the-shelf relational database management systems are effective for optimizing and processing queries on U-relations. In our experiments we show that query evaluation on U-relations scales to large amounts of data with high degrees of uncertainty.

研究动机与目标

• 解决大规模高不确定性数据的高效表示与查询挑战。
• 开发一种既简洁又完全兼容标准关系型数据库管理系统（RDBMS）的表示系统。
• 在无需自定义查询优化器或昂贵置信度计算的前提下，实现不确定数据的高效查询评估。
• 支持细粒度独立的属性级不确定性，这对数据清洗和科学数据库至关重要。
• 提供一种简单且可扩展的形式化方法，可轻松基于现有RDBMS技术实现。

提出的方法

• 使用垂直分割表示不确定关系，即将每个属性存储在独立的U-关系中，并将空值替换为变量赋值。
• 使用世界表W建模所有可能世界，其中包含各属性间变量赋值的所有组合。
• 将不确定数据上的逻辑查询转换为U-关系模式上的标准关系代数查询，保持操作数和连接数不变。
• 在U-关系上局部执行选择和连接操作，仅在成功路径上延迟物化完整元组（延迟物化）。
• 在U-关系模式上利用标准RDBMS优化技术（如索引和查询规划）以加速评估。
• 通过在世界表W中增加概率列，将形式化扩展至概率不确定性，实现无需修改查询处理逻辑的概率查询评估。

实验结果

研究问题

• RQ1 能否通过完全关系化的不确定数据表示，在保持高效查询能力的同时，实现空间紧凑性，并兼容标准RDBMS技术？
• RQ2 与元组级或谱系表示方法相比，属性级不确定性表示在空间和时间效率方面表现如何？
• RQ3 在不引起性能下降的前提下，标准关系代数算子在多大程度上可直接应用于U-关系？
• RQ4 不确定性比率、相关性及数据规模对U-关系系统中查询评估性能有何影响？
• RQ5 U-关系能否在保持高效查询评估的前提下，扩展以支持概率不确定性？

主要发现

• U-关系在空间紧凑性上相比元组级表示和WSD实现指数级优势，输入规模随不确定性和规模线性增长，而查询评估时间仅线性增加。
• U-关系上的查询评估具有高效可扩展性：当不确定性比率为10%时，Q1评估时间最多增加6倍，Q2增加4倍，Q3增加10倍。
• 当相关性比率从0.1增至0.5时，评估时间最多增加3倍，主要由于输入和输出规模增大。
• 当数据规模从0.01增至1.0时，评估时间最多增加400倍，高相关性下Q3的异常值可达1000倍。
• 由于延迟物化和中间结果规模减小，属性级U-关系在查询评估时间上相比元组级U-关系和ULDB最多快一个数量级。
• 在高规模场景下，元组级表示变得难以承受——例如，lineitem表达到1500万条元组，而每个垂直分区仅8万条，表明属性级表示对可扩展性至关重要。