[论文解读] Aggregations over Generalized Hypertree Decompositions

Manas Joglekar, Rohan Puttagunta+1 more|arXiv (Cornell University)|Aug 30, 2015

Data Management and Algorithms参考文献 29被引用 14

一句话总结

本文提出了一种基于广义超树分解（GHD）的框架，用于优化带注释关系上的聚集-连接查询，将标准连接算法扩展以处理多个聚集操作符。该框架提供了聚集顺序的简单等价性与兼容性测试，支持最优查询处理，提升了运行时界限，并实现了高效的MapReduce实现，使所有点对最短路径等问题达到近似最优性能。

ABSTRACT

We study a class of aggregate-join queries with multiple aggregation operators evaluated over annotated relations. We show that straightforward extensions of standard multiway join algorithms and generalized hypertree decompositions (GHDs) provide best-known runtime guarantees. In contrast, prior work uses bespoke algorithms and data structures and does not match these guarantees. Our extensions to the standard techniques are a pair of simple tests that (1) determine if two orderings of aggregation operators are equivalent and (2) determine if a GHD is compatible with a given ordering. These tests provide a means to find an optimal GHD that, when provided to standard join algorithms, will correctly answer a given aggregate-join query. The second class of our contributions is a pair of complete characterizations of (1) the set of orderings equivalent to a given ordering and (2) the set of GHDs compatible with some equivalent ordering. We show by example that previous approaches are incomplete. The key technical consequence of our characterizations is a decomposition of a compatible GHD into a set of (smaller) {\em unconstrained} GHDs, i.e. into a set of GHDs of sub-queries without aggregations. Since this decomposition is comprised of unconstrained GHDs, we are able to connect to the wide literature on GHDs for join query processing, thereby obtaining improved runtime bounds, MapReduce variants, and an efficient method to find approximately optimal GHDs.

研究动机与目标

• 解决现有针对多聚集操作符的聚集-连接查询缺乏通用且可扩展的优化技术的问题。
• 对等价聚集顺序与兼容GHD进行全面表征，克服先前专用算法的局限性。
• 通过将兼容GHD分解为无约束的子查询，使标准GHD技术可应用于聚集查询。
• 推导出改进的运行时界限与高效的并行（MapReduce）算法，适用于复杂查询，包括所有点对最短路径与传递闭包。
• 通过Ajar查询统一经典查询处理、线性代数与概率推理，构建单一框架。

提出的方法

• 提出一种简单测试，用于判断两种聚集顺序是否语义等价，基于操作符的可交换性与属性独立性。
• 开发一种兼容性测试，用于检查给定的广义超树分解（GHD）是否支持特定的聚集顺序。
• 提出将兼容GHD分解为更小的、无约束的子查询GHD，这些子查询不包含聚集，从而可重用现有GHD理论。
• 应用AGM界与DBP宽度，推导出分数超树宽度界限，从而在MapReduce中实现更优的运行时与通信复杂度。
• 使用递归GHD构造方法处理链状与树状结构，以最小化宽度与并行执行中的通信成本。
• 通过利用GHD中的结构对称性，优化串行执行，仅在每层访问一个集合（bag），并在相同子树间复制结果。

实验结果

研究问题

• RQ1 在何种条件下，不同聚集操作符的排序会产生相同的查询结果？
• RQ2 如何形式化表征与特定聚集顺序兼容的广义超树分解（GHD）集合？
• RQ3 标准GHD技术能否扩展以支持含多个聚集操作符的查询？若可，其适用条件为何？
• RQ4 将这些技术应用于所有点对最短路径等基础问题时，其运行时与通信复杂度界限为何？
• RQ5 如何利用兼容GHD向无约束子查询的分解来提升优化与并行执行效率？

主要发现

• 本文提供了等价聚集顺序的完整且简洁的表征，表明当操作符可交换或查询体中属性独立时，等价性成立。
• 建立了与某种等价顺序兼容的GHD的完整表征，使最优分解的系统性搜索成为可能。
• 将兼容GHD分解为无约束子查询，使现有GHD理论得以应用，从而获得更优的运行时保证。
• 对于所有点对最短路径问题，该方法实现了总通信成本为Õ(V³)的MapReduce算法，且仅需O(log²V)轮次，与专用算法相比处于多对数因子范围内。
• 采用链状GHD与O(k* log k*)轮次时，总通信成本降低至Õ(EV)，表明该问题类中具有近似最优性。
• 通过对称性优化，串行算法也实现了相同的Õ(V³)复杂度，即在GHD中每层仅访问一个集合（bag）。