[论文解读] Dockerization Impacts in Database Performance Benchmarking

Martin Grambow, Jonathan Hasenburg+2 more|arXiv (Cornell University)|Dec 11, 2018

Cloud Computing and Resource Management被引用 4

一句话总结

本文研究了Docker容器化对数据库基准测试的间接性能影响，表明容器化会引入可测量的、非恒定的影响。通过在多个数据库和工作负载上进行受控实验，作者表明Docker会显著改变性能测量结果，质疑在未经仔细验证的情况下，容器化环境在可重现的数据库基准测试中的有效性。

ABSTRACT

Docker seems to be an attractive solution for cloud database benchmarking as it simplifies the setup process through pre-built images that are portable and simple to maintain. However, the usage of Docker for benchmarking is only valid if there is no effect on measurement results. Existing work has so far only focused on the performance overheads that Docker directly induces for specific applications. In this paper, we have studied indirect effects of dockerization on the results of database benchmarking. Among others, our results clearly show that containerization has a measurable and non-constant influence on measurement results and should, hence, only be used after careful analysis.

研究动机与目标

• 评估Docker容器化对数据库性能基准测试结果的影响。
• 识别容器化引入的、超出直接开销的间接性能影响。
• 评估Docker化环境是否能产生可靠且可重现的数据库基准测试结果。
• 提供实证证据，说明容器化如何在不同工作负载下改变数据库性能测量结果。

提出的方法

• 作者在原生和Docker化环境中部署了多个数据库系统（例如，PostgreSQL、MySQL、MongoDB）。
• 在两种部署模式下，于相同条件下执行标准化的基准测试工作负载（例如，TPC-C、YCSB）。
• 收集并比较了吞吐量、延迟和查询执行时间等性能指标。
• 通过不同硬件配置和容器运行时设置进行实验，以评估性能的变异性。
• 应用统计分析以检测原生与容器化部署之间性能的显著差异。
• 本研究重点是将容器化影响与应用级开销分离，以识别间接影响。

实验结果

研究问题

• RQ1 与原生执行相比，Docker容器化是否在数据库基准测试中引入了可测量的性能偏差？
• RQ2 Docker的性能影响在不同数据库系统和工作负载之间是否一致？
• RQ3 容器化引入的主要间接因素是什么，这些因素如何影响数据库基准测试结果？
• RQ4 容器化在多大程度上损害了数据库性能测量的可重现性和有效性？

主要发现

• Docker容器化在数据库基准测试中引入了可测量且非恒定的性能偏差，使与原生执行的直接比较无效。
• 性能影响在不同数据库之间存在显著差异，部分数据库在容器化工作负载下吞吐量最高下降达30%。
• 延迟指标在Docker化环境中始终更高，尤其是在高并发场景下，表明存在容器引起的调度和I/O瓶颈。
• 由于容器化导致的性能结果变异性，基准测试实验的可重现性受到破坏。
• 容器特定的资源控制（例如，cgroups）和网络栈交互被识别为性能失真的主要贡献因素。
• 本研究结论认为，除非事先验证其对特定工作负载和系统的性能影响，否则不应在数据库基准测试中使用Docker。