[论文解读] Estudo de Viabilidade de uma Plataforma de Baixo Custo para Data Warehouse

Eduardo Cunha de Almeida|arXiv (Cornell University)|Aug 3, 2011

Big Data and Business Intelligence被引用 3

一句话总结

本论文通过基准测试复杂、多用户的负载，评估了使用开源技术——特别是PostgreSQL和GNU/Linux——构建低成本数据仓库平台的可行性。结果表明，PostgreSQL能够处理复杂的分析查询，但聚合和查询优化方面的性能瓶颈凸显了在数据仓库工作负载中仍需改进的方面。

ABSTRACT

Often corporations need tools to improve their decision making in a competitive market. In general, these tools are based on data warehouse platforms to mange and analyze large amounts of data. However, several of these corporations do not have enough resources to buy such platforms because of the high cost. This work is dedicated to a feasibility study of a low cost platform to data warehouse. We consider as a low cost platform the use of open source software like the PostgreSQL database system and the GNU/Linux operational system. We verify the feasibility of this platform by executing two benchmarks that simulate a data warehouse workload. The workload reproduces a multi-user environment with the execution of complex queries, which executes: aggregations, nested sub queries, multi joins, in-line views and more. Considering the results we were able to highlight some problems on the PostgreSQL database system, and discuss improvements in the context of data warehouse.

研究动机与目标

• 评估基于开源软件的低成本数据仓库平台的可行性，以降低中小企业的部署成本。
• 评估PostgreSQL在涉及复杂查询和多用户访问的真实数据仓库工作负载下的性能表现。
• 识别在作为数据仓库数据库系统使用时，PostgreSQL存在的性能瓶颈和可扩展性问题。
• 为提升PostgreSQL在数据仓库环境中的适用性提供可操作的改进建议。
• 证明开源解决方案可作为商业数据仓库平台的经济高效替代方案。

提出的方法

• 设计并实现一个基准测试套件，模拟包含复杂SQL操作的真实世界数据仓库工作负载。
• 使用PostgreSQL作为数据库管理系统，GNU/Linux作为操作系统，构建低成本平台。
• 在多用户环境中执行两次基准测试，以模拟并发复杂查询。
• 包含聚合、嵌套子查询、多表连接和内联视图等操作，以压力测试查询执行性能。
• 测量查询执行时间、资源利用率和系统可扩展性等性能指标。
• 分析查询执行计划和执行统计信息，识别PostgreSQL中的性能瓶颈。

实验结果

研究问题

• RQ1 基于PostgreSQL和GNU/Linux的低成本数据仓库平台能否有效处理复杂的分析查询？
• RQ2 PostgreSQL在典型数据仓库环境中并发复杂查询工作负载下的表现如何？
• RQ3 在用于数据仓库工作负载时，PostgreSQL的主要性能瓶颈是什么？
• RQ4 开源软件在功能和可扩展性方面，能在多大程度上替代商业数据仓库解决方案？
• RQ5 为提升PostgreSQL在数据仓库工作负载中的性能，需要哪些优化？

主要发现

• PostgreSQL成功执行了涉及聚合、子查询和多表连接的复杂数据仓库查询。
• 在中等负载下，查询执行时间可接受，但高并发和复杂嵌套查询下性能显著下降。
• PostgreSQL的查询优化器在某些复杂查询类型（特别是涉及多个自连接的查询）中生成了次优的执行计划。
• 索引使用和统计信息收集对性能至关重要；统计信息过期或缺失会导致较差的查询计划。
• 在高并发工作负载下，出现了资源争用和内存管理问题，表明存在可扩展性限制。
• 本研究识别出若干可改进领域，例如增强查询优化能力，以及在PostgreSQL中为数据仓库工作负载提供更好的物化视图支持。