[论文解读] Functional Dependencies Unleashed for Scalable Data Exchange

Angela Bonifati, Ioana Ileana+1 more|arXiv (Cornell University)|Feb 1, 2016

Advanced Database Systems and Queries参考文献 19被引用 7

一句话总结

本文提出了一种基于交错追赶的算法，通过利用源到目标的映射函数依赖（s-t tgds）与目标函数依赖（fds）之间的相互作用，高效处理数据交换中的一般目标函数依赖。通过有策略地排序追赶步骤以构建和处理“饱和集”，该方法减少了中间结果的大小和函数依赖的应用范围，相较于现有引擎实现了显著的性能和可扩展性提升。

ABSTRACT

We address the problem of efficiently evaluating target functional dependencies (fds) in the Data Exchange (DE) process. Target fds naturally occur in many DE scenarios, including the ones in Life Sciences in which multiple source relations need to be structured under a constrained target schema. However, despite their wide use, target fds' evaluation is still a bottleneck in the state-of-the-art DE engines. Systems relying on an all-SQL approach typically do not support target fds unless additional information is provided. Alternatively, DE engines that do include these dependencies typically pay the price of a significant drop in performance and scalability. In this paper, we present a novel chase-based algorithm that can efficiently handle arbitrary fds on the target. Our approach essentially relies on exploiting the interactions between source-to-target (s-t) tuple-generating dependencies (tgds) and target fds. This allows us to tame the size of the intermediate chase results, by playing on a careful ordering of chase steps interleaving fds and (chosen) tgds. As a direct consequence, we importantly diminish the fd application scope, often a central cause of the dramatic overhead induced by target fds. Moreover, reasoning on dependency interaction further leads us to interesting parallelization opportunities, yielding additional scalability gains. We provide a proof-of-concept implementation of our chase-based algorithm and an experimental study aiming at gauging its scalability with respect to a number of parameters, among which the size of source instances and the number of dependencies of each tested scenario. Finally, we empirically compare with the latest DE engines, and show that our algorithm outperforms them.

研究动机与目标

• 解决数据交换（DE）系统中目标函数依赖（fds）导致的性能瓶颈问题。
• 克服现有全SQL DE引擎在处理fds时的局限性，这些局限性源于SQL的一阶表达能力约束。
• 设计一种可扩展的、基于追赶的方案，高效处理任意目标fds，且无需依赖源依赖。
• 通过智能的追赶步骤排序，减少中间结果大小和fd应用范围，从而提升性能和可扩展性。
• 通过围绕分区化的饱和集组织追赶过程，实现并行化机会。

提出的方法

• 提出交错追赶算法，以受控的、依赖感知的顺序交错执行目标fd和源到目标tgd的评估。
• 以“饱和集”为核心组织追赶过程——即满足所有相关依赖的最小元组集合，可安全地从进一步处理中移除。
• 使用静态冲突图分析来指导fd和tgd应用的顺序，最小化冗余或高成本的fd评估。
• 利用DBMS计算初始s-t tgd分配，支持全一阶s-t tgds，而不仅限于合取形式。
• 设计追赶过程以逐步构建并最终确定饱和集，确保正确性的同时减少中间状态的膨胀。
• 通过将实例划分为独立的饱和集，实现并行化处理。

实验结果

研究问题

• RQ1 如何在不依赖一阶查询重写的情况下，高效评估数据交换中的目标函数依赖？
• RQ2 s-t tgds与目标fds之间的依赖交互对中间结果大小和性能有何影响？
• RQ3 能否设计一种基于追赶的方法，以最小化数据交换中fd评估的范围和成本？
• RQ4 与经典或无脑追赶变体相比，交错执行fd和tgd步骤在可扩展性方面有何改进？
• RQ5 饱和集分解在多大程度上能够实现并行化并带来性能提升？

主要发现

• 所提出的交错追赶算法通过分批处理饱和集，显著减少了中间结果大小，直接缓解了目标fd评估导致性能下降的主要原因。
• 该算法在状态最先进DE引擎的性能上实现了数个数量级的提升，尤其在依赖关系复杂且数据量大的场景中表现突出。
• 通过利用s-t tgds与目标fds之间的相互作用，该方法减少了fd应用的有效范围，从而实现显著的开销降低。
• 静态冲突图分析支持激进的优化策略，这些策略在真实世界的数据交换工作负载中既有效又实用。
• 通过DBMS驱动的评估，该方法支持全一阶s-t tgds，突破了以往系统中常见的合取片段限制。
• 该算法通过将实例划分为饱和集实现自然的并行化，从而带来额外的可扩展性增益。