[論文レビュー] A Comparative Study on the Performance of the Top DBMS Systems

Youssef Bassil|arXiv (Cornell University)|May 13, 2012

Cloud Computing and Resource Management参考文献 2被引用数 30

ひとこと要約

本論文は、複雑さの異なるSQLクエリを用いた制御されたベンチマークを通じて、Microsoft SQL Server 2008、Oracle 11g、IBM DB2、MySQL 5.5、MS Access 2010の5つの主要なDBMSシステムの性能を評価している。平均実行時間、メモリ使用量、CPU使用率を測定し、頭 against 頭の比較を実施することで、テスト対象のシステム間で顕著な性能差が存在することが明らかになった。

ABSTRACT

Database management systems are today's most reliable mean to organize data into collections that can be searched and updated. However, many DBMS systems are available on the market each having their pros and cons in terms of reliability, usability, security, and performance. This paper presents a comparative study on the performance of the top DBMS systems. They are mainly MS SQL Server 2008, Oracle 11g, IBM DB2, MySQL 5.5, and MS Access 2010. The testing is aimed at executing different SQL queries with different level of complexities over the different five DBMSs under test. This would pave the way to build a head-to-head comparative evaluation that shows the average execution time, memory usage, and CPU utilization of each DBMS after completion of the test.

研究の動機と目的

• 実際のクエリワークロードにおける、最も広く使われている商用およびオープンソースDBMSシステムの性能を評価・比較すること。
• 標準化されたテスト環境下での主要DBMSプラットフォーム間の性能ボトルネックおよび効率性の差を特定すること。
• データベース選定の意思決定を支援するため、実行時間、メモリ消費量、CPU使用率に関する実証的データを提供すること。
• クエリの複雑さが、異なるDBMSアーキテクチャおよび最適化戦略における性能に与える影響を評価すること。

提案手法

• 5つの上位クラスのDBMSシステムの選定：MS SQL Server 2008、Oracle 11g、IBM DB2、MySQL 5.5、MS Access 2010。
• 実世界のワークロードを模倣するため、複雑さの異なる多様なSQLクエリの設計および実行。
• 主要なパフォーマンスメトリクスの測定：クエリ実行中の平均実行時間、メモリ使用量、CPU使用率。
• 外部要因のばらつきを最小限に抑えるために、標準化されたテスト環境を整備し、システム間の公平な比較を確保。
• すべての5つのDBMSプラットフォームにわたるパフォーマンスデータの収集および比較に、制御されたベンチマーキングフレームワークを活用。
• 複数のクエリタイプおよび実行サイクルにわたる平均パフォーマンスの観点から、結果を報告。

実験結果

リサーチクエスチョン

• RQ1 複雑さの異なる条件下で、上位5つのDBMSシステムの平均クエリ実行時間はどのように比較されるか？
• RQ2 クエリ処理中に、どのDBMSが最も効率的なメモリ使用量を示したか？
• RQ3 同一ワークロード下で、テスト対象のDBMSプラットフォーム間でCPU使用率はどのように変動するか？
• RQ4 クエリの複雑さが、DBMSシステム間のパフォーマンス差に与える影響は何か？
• RQ5 多様なクエリタイプにわたって、どのDBMSが最も一貫性のあるパフォーマンスを示したか？

主な発見

• MS SQL Server 2008は、ほとんどのクエリタイプで最も短い平均実行時間を示し、特に複雑なクエリにおいて他システムを上回った。
• Oracle 11gは、複雑なトランザクションワークロード下で高いメモリ消費量を示したが、CPU使用率は安定していた。
• MySQL 5.5は、バランスの取れたメモリおよびCPU使用量を示したが、複雑なジョイン操作では他に比べて遅れをとった。
• IBM DB2は中程度の複雑さのクエリで競争力のあるパフォーマンスを発揮したが、実行時間のばらつきが大きかった。
• MS Access 2010は平均実行時間が最も高く、特に複雑なクエリにおいてメモリおよびCPU使用効率が最も低かった。
• パフォーマンス順位はクエリタイプによって変動し、いかなるDBMSもすべてのワークロードで優位ではなかった。これは、ワークロードに応じた選定の重要性を示している。