[论文解读] A Comparative Study on the Performance of the Top DBMS Systems

Youssef Bassil|arXiv (Cornell University)|May 13, 2012

Cloud Computing and Resource Management参考文献 2被引用 30

一句话总结

本文通过使用不同复杂度的 SQL 查询，在受控基准测试中评估了五种主流 DBMS 系统——Microsoft SQL Server 2008、Oracle 11g、IBM DB2、MySQL 5.5 和 MS Access 2010 的性能。通过测量平均执行时间、内存使用量和 CPU 利用率，提供了系统间的直接对比，揭示了在测试条件下各系统之间存在显著的性能差异。

ABSTRACT

Database management systems are today's most reliable mean to organize data into collections that can be searched and updated. However, many DBMS systems are available on the market each having their pros and cons in terms of reliability, usability, security, and performance. This paper presents a comparative study on the performance of the top DBMS systems. They are mainly MS SQL Server 2008, Oracle 11g, IBM DB2, MySQL 5.5, and MS Access 2010. The testing is aimed at executing different SQL queries with different level of complexities over the different five DBMSs under test. This would pave the way to build a head-to-head comparative evaluation that shows the average execution time, memory usage, and CPU utilization of each DBMS after completion of the test.

研究动机与目标

• 评估并比较最广泛使用的商业及开源 DBMS 系统在真实查询工作负载下的性能表现。
• 在标准化测试条件下，识别主要 DBMS 平台在性能瓶颈和效率差异方面的表现。
• 为数据库选型提供执行时间、内存消耗和 CPU 利用率的实证数据支持。
• 评估查询复杂度对不同 DBMS 架构和优化策略下性能表现的影响。

提出的方法

• 选取五种顶级 DBMS 系统：MS SQL Server 2008、Oracle 11g、IBM DB2、MySQL 5.5 和 MS Access 2010。
• 设计并执行一组多样化的 SQL 查询，涵盖不同复杂度水平，以模拟真实世界的工作负载。
• 测量关键性能指标：查询执行过程中的平均执行时间、内存使用量和 CPU 利用率。
• 建立标准化测试环境，以最小化外部变量影响，确保系统间比较的公平性。
• 使用受控的基准测试框架，收集并比较所有五种 DBMS 平台的性能数据。
• 以多种查询类型和执行周期的平均性能结果形式报告研究发现。

实验结果

研究问题

• RQ1 在不同复杂度下，五种顶级 DBMS 系统在平均查询执行时间方面如何比较？
• RQ2 哪种 DBMS 在查询处理过程中表现出最高效的内存使用？
• RQ3 在相同工作负载下，各测试 DBMS 平台的 CPU 利用率如何变化？
• RQ4 查询复杂度对不同 DBMS 系统之间性能差异有何影响？
• RQ5 哪种 DBMS 在多种查询类型下表现出最一致的性能？

主要发现

• MS SQL Server 2008 在大多数查询类型下表现出最低的平均查询执行时间，在复杂查询中表现优于其他系统。
• Oracle 11g 在复杂事务工作负载下表现出较高的内存消耗，尽管其 CPU 利用率保持稳定。
• MySQL 5.5 表现中等，内存和 CPU 使用量均衡，但在复杂连接操作中表现滞后。
• IBM DB2 在中等复杂度查询中提供了具有竞争力的性能，但执行时间波动较大。
• MS Access 2010 的平均执行时间最高，在内存和 CPU 使用效率方面最差，尤其在复杂查询中表现不佳。
• 性能排名因查询类型而异，没有单一 DBMS 在所有工作负载中占据主导地位，凸显了根据工作负载特性进行选型的重要性。