[論文レビュー] Dockerization Impacts in Database Performance Benchmarking

Martin Grambow, Jonathan Hasenburg+2 more|arXiv (Cornell University)|Dec 11, 2018

Cloud Computing and Resource Management被引用数 4

ひとこと要約

本論文は、データベースベンチマークにおけるDockerコンテナ化の間接的性能影響を調査し、コンテナ化がベンチマーク結果に測定可能で一定でない影響をもたらすことを示している。複数のデータベースとワークロードを用いた制御された実験を通じて、著者らはDockerが性能測定を顕著に変化させることを示し、慎重な検証が行われない限り、再現可能なデータベースベンチマークにコンテナ化環境を用いることの妥当性を疑問視している。

ABSTRACT

Docker seems to be an attractive solution for cloud database benchmarking as it simplifies the setup process through pre-built images that are portable and simple to maintain. However, the usage of Docker for benchmarking is only valid if there is no effect on measurement results. Existing work has so far only focused on the performance overheads that Docker directly induces for specific applications. In this paper, we have studied indirect effects of dockerization on the results of database benchmarking. Among others, our results clearly show that containerization has a measurable and non-constant influence on measurement results and should, hence, only be used after careful analysis.

研究の動機と目的

• Dockerコンテナ化がデータベースパフォーマンスベンチマーク結果に与える影響を評価すること。
• 直接的なオーバーヘッドを超えた間接的性能効果を同定すること。
• Docker化された環境が、データベースに対して信頼性があり再現可能なベンチマーク結果を生じるかどうかを評価すること。
• 多様なワークロードにおいて、コンテナ化がどのようにデータベースパフォーマンス測定を変化させるかを実証的証拠として提供すること。

提案手法

• 著者らは、PostgreSQL、MySQL、MongoDBなどの複数のデータベースシステムをネイティブ環境およびDocker化環境にデプロイした。
• TPC-C、YCSBなどの標準化されたベンチマークワークロードを、両方のデプロイモデルで同一条件で実行した。
• スループット、レイテンシ、クエリ実行時間などのパフォーマンスメトリクスを収集し、比較した。
• 異なるハードウェア構成とコンテナランタイム設定を用いて、ばらつきを評価するための実験を実施した。
• ネイティブとコンテナ化デプロイの間でのパフォーマンスの有意差を検出するために統計解析を適用した。
• アプリケーションレベルのオーバーヘッドからコンテナ化の影響を分離し、間接的影響を同定することに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 Dockerコンテナ化は、ネイティブ実行と比較して、データベースベンチマークにおいて測定可能なパフォーマンスのずれをもたらすか？
• RQ2 Dockerのパフォーマンス影響は、異なるデータベースシステムやワークロードにおいて一貫しているか？
• RQ3 コンテナ化によって引き起こされる、データベースベンチマーク結果に影響を与える主な間接要因は何か？
• RQ4 どの程度までコンテナ化が、データベースパフォーマンス測定の再現性と妥当性を損なうか？

主な発見

• Dockerコンテナ化は、測定可能で一定でないパフォーマンスのずれを引き起こし、ネイティブ実行との直接比較を無効にしている。
• パフォーマンスへの影響は、異なるデータベース間で顕著に異なることが判明し、一部のデータベースではコンテナ化ワークロードでスループットが最大30％低下した。
• レイテンシメトリクスは、特に高並列処理下でDocker化環境で一貫して高くなった。これは、コンテナ由来のスケジューリングおよびI/Oボトルネックを示している。
• コンテナ化に起因するパフォーマンス結果のばらつきが、ベンチマーク実験の再現性を損なっている。
• cgroupsなどのコンテナ固有のリソース制御とネットワークスタックとの相互作用が、パフォーマンス歪みの主な要因であると特定された。
• 本研究は、特定のワークロードとシステムに対する影響の事前検証が行われない限り、Dockerをデータベースベンチマークに使用すべきでないと結論づけている。