[论文解读] Consistent Query Answering for Primary Keys and Conjunctive Queries with Counting

Amezian El Khalfioui, Aziz, Jef Wijsen|arXiv (Cornell University)|Aug 25, 2022

Data Quality and Management被引用 1

一句话总结

该论文提出 LinCQA，一种系统，通过利用成对剪枝连接树（PPJT）实现对具有主键的无环 SPJ 查询类的线性时间一致查询回答（CQA）。该系统提供 SQL 和 Datalog 重写，保证线性时间评估，在合成和真实世界工作负载上，尤其在高不一致或大规模数据情况下，性能优于现有 CQA 系统达数个数量级。

ABSTRACT

Most data analytical pipelines often encounter the problem of querying inconsistent data that violate pre-determined integrity constraints. Data cleaning is an extensively studied paradigm that singles out a consistent repair of the inconsistent data. Consistent query answering (CQA) is an alternative approach to data cleaning that asks for all tuples guaranteed to be returned by a given query on all (in most cases, exponentially many) repairs of the inconsistent data. This paper identifies a class of acyclic select-project-join (SPJ) queries for which CQA can be solved via SQL rewriting with a linear time guarantee. Our rewriting method can be viewed as a generalization of Yannakakis's algorithm for acyclic joins to the inconsistent setting. We present LinCQA, a system that can output rewritings in both SQL and non-recursive Datalog rules for every query in this class. We show that LinCQA often outperforms the existing CQA systems on both synthetic and real-world workloads, and in some cases, by orders of magnitude.

研究动机与目标

• 解决现有不一致数据库一致查询回答（CQA）系统在效率和理论保证方面的不足。
• 识别一个无环 SPJ 查询的可 tractable 类，使得 CQA 可在保证性能的前提下线性时间求解。
• 设计并实现一个系统，生成高效且正确的 SQL 和 Datalog 重写，用于计算一致答案，且无需依赖 NP-难求解器。
• 证明所提方法在不同数据规模和不一致比率下具有稳健的可扩展性，优于最先进 CQA 系统。

提出的方法

• 引入成对剪枝连接树（PPJT）的概念，即对连接查询的一种结构条件，确保一阶重写性和线性时间评估。
• 设计一种重写算法，将具有 PPJT 的查询转换为等价的 SQL 或非递归 Datalog 查询，直接在不一致数据库上计算一致答案。
• 通过引入主键约束并利用连接树结构剪枝不一致元组，将 Yannakakis 的无环连接算法扩展至不一致环境。
• 实现 LinCQA 系统，支持 SQL 和 Datalog 输出，可与标准 DBMS 和 Datalog 引擎无缝集成。
• 提出一种新的无环自连接无 SPJ 查询表征，基于攻击图的结构特性，识别可实现线性时间 CQA 的查询。
• 通过理论分析和在合成及真实世界工作负载上的大量实验，验证重写的正确性和高效性。

实验结果

研究问题

• RQ1 对于具有主键约束的有意义的无环 SPJ 查询类，是否可以实现线性时间的一致查询回答？
• RQ2 是否存在 SPJ 查询的一种结构条件，可在存在不一致数据的情况下保证一阶重写性和线性时间评估？
• RQ3 该条件是否可用于生成高效且正确的 SQL 或 Datalog 重写，避免使用 NP-难求解器？
• RQ4 在不同数据规模和不一致比率下，所提系统的性能与现有 CQA 系统相比如何？
• RQ5 所提方法在高不一致比率和大规模数据下是否具有鲁棒性，尤其当其他系统显著退化时？

主要发现

• LinCQA 实现了具有成对剪枝连接树（PPJT）的查询的线性时间一致查询回答，且具有运行时的理论保证。
• 在合成工作负载上，LinCQA 的性能优于 ConQuer 和 FastFO 达两个数量级，尤其在高不一致比率下表现更优。
• 对于关系大小多变的查询，LinCQA 的性能显著优于 ConQuer 和 FastFO，展现出更优的可扩展性。
• LinCQA 在不一致比率增加时保持稳定性能，而 ConQuer 和 FastFO 的运行时间持续增加，表明对数据不一致具有鲁棒性。
• 在基于 StackOverflow 的查询实验中，LinCQA 即使在高不一致的大规模数据库上也能实现亚秒级响应时间，而其他系统则超时或扩展性差。
• 该系统成功处理了涉及部分复合键和混合键/非键连接的复杂连接模式——这类模式常见于雪花模式和实体匹配场景——而先前系统如 Cforest 则失败。