[论文解读] HRDBMS: Combining the Best of Modern and Traditional Relational Databases

Jason Arnold, Boris Glavic+1 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Database Systems and Queries参考文献 9被引用 4

一句话总结

HRDBMS 引入了一种混合分布式关系型数据库，将传统 RDBMS 的查询优化和 ACID 兼容性与 Hive 和 Spark 等大数据平台的可扩展性相结合。通过使用专为 SQL 工作负载设计的执行引擎，它消除了诸如过度中间结果物化、缺乏统计信息以及僵化的通信模式等性能瓶颈，在保持完整 ACID 属性的同时，实现了复杂分析查询的卓越性能。

ABSTRACT

HRDBMS is a novel distributed relational database that uses a hybrid model combining the best of traditional distributed relational databases and Big Data analytics platforms such as Hive. This allows HRDBMS to leverage years worth of research regarding query optimization, while also taking advantage of the scalability of Big Data platforms. The system uses an execution framework that is tailored for relational processing, thus addressing some of the performance challenges of running SQL on top of platforms such as MapReduce and Spark. These include excessive materialization of intermediate results, lack of a global cost-based optimization, unnecessary sorting, lack of index support, no statistics, no support for DML and ACID, and excessive communication caused by the rigid communication patterns enforced by these platforms.

研究动机与目标

• 解决在 Spark 和 MapReduce 等大数据平台运行 SQL 时的性能限制。
• 将传统 RDBMS 的强大查询优化能力和 ACID 事务支持与现代数据平台的水平可扩展性相结合。
• 消除现有大数据 SQL 引擎中不必要的排序、过度的中间结果物化以及缺乏统计信息等低效问题。
• 设计一种混合执行框架，支持基于成本的优化、索引和分布式环境中的 DML 操作。
• 实现在大规模数据工作负载上高效、可扩展且符合 ACID 的 SQL 处理。

提出的方法

• HRDBMS 采用混合执行模型，结合传统 RDBMS 查询优化的优势与大数据平台的分布式可扩展性。
• 它使用专为关系型处理优化的执行引擎，避免 MapReduce 和 Spark 的僵化通信模式。
• 通过维护统计信息并在跨分布式节点的环境中启用索引使用，实现全局基于成本的优化。
• 在查询规划阶段应用下推和剪枝技术，减少中间结果的物化。
• HRDBMS 支持完整的 DML 操作和 ACID 事务，确保在分布式环境中的数据一致性。
• 该架构通过自适应查询执行策略实现高效的连接处理，并避免不必要的排序。

实验结果

研究问题

• RQ1 如何有效结合传统 RDBMS 查询优化技术与大数据平台的可扩展性？
• RQ2 在基于大数据基础设施构建的分布式 SQL 引擎中，支持 ACID 事务和统计信息需要哪些架构变更？
• RQ3 与 MapReduce 和 Spark 相比，混合执行引擎是否能减少中间结果物化和通信开销？
• RQ4 在不牺牲可扩展性的前提下，基于成本的优化在分布式 SQL 系统中能在多大程度上提升查询性能？
• RQ5 索引和统计信息的集成如何提升大数据 SQL 引擎的性能？

主要发现

• HRDBMS 通过最小化中间结果物化，在复杂分析查询上相比 Spark SQL 和 Hive 实现了显著更低的查询执行时间。
• 通过维护的统计信息和选择性索引使用，系统实现了基于成本优化的性能提升。
• 通过避免僵化的通信模式，HRDBMS 减少了网络 I/O，提升了大规模数据工作负载的可扩展性。
• 通过支持完整的 DML 和 ACID 功能，实现了可靠的事务处理，而这一点在大多数大数据 SQL 引擎中尚不存在。
• 混合执行框架在复杂连接和聚合操作的吞吐量和延迟方面均优于现有平台。
• 系统成功支持下推谓词和选择性处理，减少了数据移动，提升了查询效率。