[论文解读] FDB: A Query Engine for Factorised Relational Databases

Nurzhan Bakibayev, Dan Olteanu+1 more|arXiv (Cornell University)|Mar 12, 2012

Advanced Database Systems and Queries参考文献 17被引用 4

一句话总结

FDB 是一种内存查询引擎，通过使用紧凑的代数因子化表示，加速对因子化关系数据库的选择-投影-连接查询。通过利用新颖的优化与评估算法对数据因子化进行优化，FDB 在具有多对多关系的数据集上，相较于传统关系数据库引擎，性能最高提升四个数量级。

ABSTRACT

Factorised databases are relational databases that use compact factorised representations at the physical layer to reduce data redundancy and boost query performance. This paper introduces FDB, an in-memory query engine for select-project-join queries on factorised databases. Key components of FDB are novel algorithms for query optimisation and evaluation that exploit the succinctness brought by data factorisation. Experiments show that for data sets with many-to-many relationships FDB can outperform relational engines by orders of magnitude.

研究动机与目标

• 解决传统关系数据库因多对多关系中的数据冗余导致的性能瓶颈。
• 通过设计一种新型内存查询引擎，实现在因子化关系数据上的高效查询处理。
• 开发能够利用因子化表示紧凑性的查询优化与评估算法。
• 证明因子化表示在多个查询操作中能够保持紧凑性与高性能。
• 使用扁平数据与因子化数据，对比 FDB 与传统关系数据库及其优化器的性能表现。

提出的方法

• FDB 使用因子化树（f-tree）数据结构，将关系表示为单值属性的乘积的并集，从而实现紧凑存储与高效查询处理。
• 该引擎采用两阶段方法：首先通过 f-plans 进行查询优化，以确定最佳因子化顺序；然后通过递归遍历 f-tree 进行查询评估。
• FDB 支持全搜索与基于贪心启发式的优化器，以探索 f-tree 结构的指数级可能空间，在最优性与效率之间取得平衡。
• 查询评估引擎通过遍历与重写嵌套结构，直接在 f-tree 上执行选择与连接等操作，无需物化中间结果。
• 系统利用乘积对并集的分配律与交换律，将 f-tree 重新组织为更紧凑的形式，从而降低评估成本。
• FDB 在扁平数据与因子化输入数据上均进行查询评估，与 SQLite、PostgreSQL 及标准 RDBMS 引擎进行性能对比。

实验结果

研究问题

• RQ1 与传统关系数据库引擎相比，因子化表示是否能显著减少查询评估时间与结果大小？
• RQ2 f-plans 的质量（即因子化顺序）如何影响 FDB 中的查询性能？
• RQ3 在多次查询操作后，因子化表示的紧凑性是否会退化？
• RQ4 在 f-tree 搜索空间探索中，最优性与效率之间的权衡如何体现？
• RQ5 FDB 的性能如何随查询规模与数据倾斜程度的增加而扩展？

主要发现

• 在具有多对多关系的数据集上，FDB 的查询评估速度相比传统关系数据库引擎最高提升四个数量级。
• 对于最多包含四个等值选择的查询，即使处理高达 5 亿个数据值，FDB 仍能将结果大小控制在 4,000 个单值以内。
• 全搜索优化器可找到最优 f-plans，但其性能随查询规模呈指数级增长；而贪心启发式方法速度快 2–3 个数量级，性能损失最多仅 50%。
• 在因子化输入数据上，FDB 保持了紧凑的结果，并在输入规模缩减至 1,000 个元组时仍实现显著性能提升，此时 FDB 与 RDB 的运行时间均低于 0.1 秒。
• 只有当输入数据规模低于 1,000 个元组时，FDB 与 RDB 的性能差距才会缩小，表明 FDB 的优势在大规模、高度可因子化的数据上最为显著。
• 实验结果证实，因子化质量在操作过程中不会衰减，证明了紧凑表示在多个查询步骤中的可持续性。