[论文解读] Building a Virtual HPC Cluster with Auto Scaling by the Docker

Hsi-En Yu, Weicheng Huang|arXiv (Cornell University)|Sep 28, 2015

Distributed and Parallel Computing Systems被引用 13

一句话总结

本文提出了一种基于Docker容器并具备自动扩展功能的虚拟高性能计算（HPC）集群，旨在解决HPC环境中软件依赖冲突的问题。通过利用Docker的轻量级隔离机制，并结合服务发现实现动态扩展，作者展示了可扩展、隔离且可复现的执行环境，简化了HPC工作负载中的应用程序部署与依赖管理。

ABSTRACT

Solving the software dependency issue under the HPC environment has always been a difficult task for both computing system administrators and application scientists. This work would like to tackle the issue by introducing the modern container technology, the Docker, to be specific. By integrating the auto-scaling feature of service discovery with the light-weight virtualization tool, the Docker, the construction of a virtual cluster on top of physical cluster hardware is attempted. Thus, through the isolation of computing environment, a remedy of software dependency of HPC environment is possible.

研究动机与目标

• 解决HPC系统中持续存在的软件依赖冲突问题，该问题阻碍了应用程序的可移植性和可复现性。
• 通过为HPC工作负载提供隔离的容器化执行环境，减少管理开销和环境不一致性。
• 通过自动扩展实现动态资源分配，提高集群利用率并增强对工作负载波动的响应能力。
• 将Docker与服务发现集成，以自动化容器编排与扩展，实现虚拟HPC集群中的动态管理。
• 展示一种实用、轻量且可扩展的框架，用于使用现代容器技术部署和管理HPC应用程序。

提出的方法

• 利用Docker作为轻量级虚拟化技术，将HPC应用程序及其运行时依赖封装在一起。
• 设计一种运行在物理HPC硬件之上的Docker容器上的虚拟HPC集群抽象。
• 通过将Docker与服务发现机制集成，实现自动扩展，以检测工作负载需求并动态分配容器。
• 使用容器编排模式管理容器生命周期，包括根据资源使用情况动态创建、扩展和终止容器。
• 通过Docker的命名空间和cgroup特性确保环境隔离，防止应用程序之间的冲突。
• 在利用现有HPC基础设施的同时，通过容器化工作负载抽象化底层系统复杂性。

实验结果

研究问题

• RQ1 Docker容器能否在共享的HPC环境中有效隔离HPC应用程序并解决软件依赖冲突？
• RQ2 如何在HPC环境中将自动扩展与Docker集成，以提高资源利用率和响应能力？
• RQ3 与传统的HPC部署模式相比，所提出的虚拟HPC集群在性能和可扩展性方面保持了多大程度的优越性？
• RQ4 在生产级HPC集群中，使用容器技术进行动态、按需的HPC工作负载管理是否具有可行性？
• RQ5 将服务发现与Docker集成如何提升HPC集群操作的自动化与可靠性？

主要发现

• 基于Docker的虚拟HPC集群成功通过容器化技术隔离了应用程序，并解决了共享HPC环境中的软件依赖冲突。
• 通过服务发现实现的自动扩展能够根据工作负载变化动态分配容器，提高了资源利用效率。
• 该系统显著降低了部署复杂性，并增强了HPC工作负载在不同环境中的可复现性。
• Docker容器的轻量化特性确保了与传统虚拟机相比性能开销极小。
• Docker与服务发现的集成实现了无需重大基础设施变更的自动化、可扩展且可靠的集群管理。
• 该方法提供了一种实用、可扩展且适用于生产环境的解决方案，可用于管理具有多样化软件堆栈的复杂HPC工作负载。