[论文解读] Distribution Policies for Datalog

Bas Ketsman, Aws Albarghouthi+1 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Database Systems and Queries被引用 1

一句话总结

本文将分布式 Datalog 求解中并行正确性的分析扩展至并集的共合查询（UCQ）和带否定的共合查询（CQ¬），表明尽管 UCQ 的并行正确性仍处于 ΠP₂，但由于需要指数级大的反例，CQ¬ 的并行正确性变为 coNEXPTIME-完全。一项关键贡献是证明了 CQ¬ 包含问题为 coNEXPTIME-完全，挑战了以往在有界关系元数下认为其为 ΠP₂-完全的假设。

ABSTRACT

Modern data management systems extensively use parallelism to speed up query processing over massive volumes of data. This trend has inspired a rich line of research on how to formally reason about the parallel complexity of join computation. In this paper, we go beyond joins and study the parallel evaluation of recursive queries. We introduce a novel framework to reason about multi-round evaluation of Datalog programs, which combines implicit predicate restriction with distribution policies to allow expressing a combination of data-parallel and query-parallel evaluation strategies. Using our framework, we reason about key properties of distributed Datalog evaluation, including parallel-correctness of the evaluation strategy, disjointness of the computation effort, and bounds on the number of communication rounds.

研究动机与目标

• 将分布式查询求解中并行正确性的理论扩展至并集的共合查询（UCQ）和带否定的共合查询（CQ¬）。
• 研究在任意分发策略下，UCQ 和 CQ¬ 的并行正确性、并行保真性与并行完备性的复杂度。
• 确定 CQ¬ 包含问题是否比以往认为的更难，特别是在一般模式下。
• 识别在何种条件下，CQ¬ 的并行正确性高复杂度可被降低，例如固定模式或有界元数。
• 提供新的复杂度界与归约，将包含问题的下界转移至并行正确性。

提出的方法

• 将 CQ 的基于取值的并行正确性刻画扩展至 UCQ，表明并行正确性仍处于 ΠP₂。
• 引入基于反例的算法处理 CQ¬，依赖于指数级大的反例以建立 coNEXPTIME 上界。
• 通过从 CQ¬ 包含问题到并行正确性（及其变体）的归约，证明 coNEXPTIME-难性。
• 使用一种新颖的从查询包含问题到并行正确性的归约，证明 CQ¬ 包含问题是 coNEXPTIME-完全。
• 分析带否定的全共合查询（FCQ¬），并表明在全性约束下，并行正确性降至 coNP-完全。
• 应用相同的归约技术，推导出并集全 CQ¬（UFCQ¬）的复杂度界，确立 coNP-完全性。

实验结果

研究问题

• RQ1 在任意分发策略下，并集共合查询（UCQ）的并行正确性复杂度为何？
• RQ2 否定的存在如何影响并行正确性的复杂度，是否仍能通过取值进行刻画？
• RQ3 带否定的共合查询（CQ¬）的包含问题是否比以往认为的更难，特别是在缺乏元数限制时？
• RQ4 在何种条件下——如固定模式或有界元数——CQ¬ 的并行正确性复杂度可低于 coNEXPTIME？
• RQ5 CQ¬ 的包含问题能否归约为并行正确性，这对复杂度界意味着什么？

主要发现

• 并集共合查询（UCQ）的并行正确性仍处于 ΠP₂，扩展了从 CQ 的基于取值的刻画。
• 对于带否定的共合查询（CQ¬），并行正确性为 coNEXPTIME-完全，这是由于需要指数级大的反例。
• CQ¬ 包含问题是 coNEXPTIME-完全，这与以往在一般模式下认为其为 ΠP₂-完全的假设相矛盾。
• 当数据库模式固定或关系元数有界时，CQ¬ 的并行正确性降至 ΠP₂。
• 对于带否定的全共合查询并集（UFCQ¬），并行正确性为 coNP-完全，显著降低了复杂度。
• 本文建立了从 CQ¬ 包含问题到并行正确性的新颖归约，实现了下界的转移，并证明了包含问题的 coNEXPTIME-完全性。