[论文解读] Aggregate Skyline Join Queries: Skylines with Aggregate Operations over Multiple Relations

Arnab Bhattacharya, B. Palvali Teja|arXiv (Cornell University)|Jun 28, 2012

Data Management and Algorithms参考文献 10被引用 9

一句话总结

本文提出聚合基极限连接查询（ASJQ），一种新型查询类型，用于在涉及本地属性和聚合操作（如成本总和、持续时间）的连接关系上计算基极限。作者提出了三种高效算法——MSC、基于支配者的算法和迭代算法，通过在连接前本地处理基极限，显著优于朴素方法，在真实和合成数据集上表现出更高的可扩展性和性能，数据集的基数和维度各不相同。

ABSTRACT

The multi-criteria decision making, which is possible with the advent of skyline queries, has been applied in many areas. Though most of the existing research is concerned with only a single relation, several real world applications require finding the skyline set of records over multiple relations. Consequently, the join operation over skylines where the preferences are local to each relation, has been proposed. In many of those cases, however, the join often involves performing aggregate operations among some of the attributes from the different relations. In this paper, we introduce such queries as "aggregate skyline join queries". Since the naive algorithm is impractical, we propose three algorithms to efficiently process such queries. The algorithms utilize certain properties of skyline sets, and processes the skylines as much as possible locally before computing the join. Experiments with real and synthetic datasets exhibit the practicality and scalability of the algorithms with respect to the cardinality and dimensionality of the relations.

研究动机与目标

• 解决在多个关系上进行基极限查询的需求，其中属性在连接的元组间进行聚合。
• 处理现实场景中用户需要在包含本地偏好和聚合度量的连接关系上进行多准则决策的问题。
• 设计高效算法，避免在基极限选择前直接计算完整连接所带来的不可行成本。
• 在不同数据分布、基数和维度下，评估所提算法的可扩展性和性能。
• 通过真实篮球运动员数据集和合成工作负载，证明其实际适用性。

提出的方法

• 提出三种算法——MSC（多基极限计算）、基于支配者的算法和迭代算法，通过在连接前对每个关系本地计算基极限来处理ASJQ。
• 使用迭代算法逐步在连接结果集中剔除被支配的元组，减少昂贵的比较操作。
• 利用基极限集的性质，减少连接过程中支配检查的次数。
• 在等值连接后对来自不同关系的属性应用聚合操作（如求和、最小值、最大值），同时保留用户定义的偏好函数。
• 设计算法以支持混合偏好类型：对成本/持续时间使用最小化，对评分/设施使用最大化。
• 采用两阶段方法：首先在每个关系上计算本地基极限，然后在结果上执行感知连接的基极限计算。

实验结果

研究问题

• RQ1 如何高效地将基极限查询扩展到涉及连接属性聚合的多个关系？
• RQ2 在基极限计算前直接连接关系时，性能瓶颈是什么，如何缓解？
• RQ3 数据分布（相关、独立、反相关）、基数和维度如何影响ASJQ处理的可扩展性？
• RQ4 在实际应用中，哪种算法策略——MSC、基于支配者的算法或迭代算法——在效率和可扩展性之间达到最佳平衡？
• RQ5 连接属性类别的数量如何影响ASJQ结果集的大小和运行时间？

主要发现

• 在大型和反相关数据集上，迭代算法在运行时间方面优于MSC和基于支配者的算法。
• 当不使用任何连接属性时（即笛卡尔积），ASJQ结果集的基数最高；当使用多个属性进行等值连接时，基数最低。
• 随着连接属性类别的增加，运行时间上升，尽管最终连接关系的大小减小，这是因为初始基极限集变大。
• 迭代算法在维度和基数增加时表现出更优的可扩展性，因其能逐步剔除被支配的元组。
• 在反相关数据集中，几乎所有元组都在基极限中，此时迭代算法的渐进式剔除策略提供了显著的性能优势。
• 在真实篮球数据集上的实验表明，迭代算法表现最佳，其运行时间与结果集基数趋势一致。