[论文解读] Docker-Enabled Build and Execution Environment (BEE): an Encapsulated Environment Enabling HPC Applications Running Everywhere

Jieyang Chen, Qiang Guan+6 more|arXiv (Cornell University)|Dec 19, 2017

Cloud Computing and Resource Management参考文献 16被引用 5

一句话总结

本文提出了一种基于BEE-VM后端的Docker增强型HPC系统构建与执行环境（BEE），通过虚拟机封装应用环境，实现跨多种HPC平台的可移植、可复现的构建与执行，而无需系统级配置或专用软件。该方法在保持高性能的同时，消除了在不同系统上重新配置或重建应用的需求。

ABSTRACT

Variations in High Performance Computing (HPC) system software configurations mean that applications are typically configured and built for specific HPC environments. Building applications can require a significant investment of time and effort for application users and requires application users to have additional technical knowledge. Container technologies like Docker bring great benefits to the application development, build and deployment processes. While much cloud computing infrastructure is already designed to support Docker, little work has been done to support production Docker deployment on HPC systems. In this work, we propose a Docker-enabled Build and Execution Environment (BEE) for HPC systems and detail a standard backend for BEE using virtual machines, the BEE-VM. This brings many of the benefits of Docker to existing HPC machines in user-space without the requirement of specialized pre-installed software and with no system administrator configuration. We show that current HPC application can be easily configured to run within BEE, eliminating the need to reconfigure and rebuild applications for different systems while preserving comparable performance.

研究动机与目标

• 解决因系统软件配置差异导致的HPC应用可移植性挑战。
• 减少在不同HPC环境中构建和部署HPC应用所需的时间与技术门槛。
• 实现在当前缺乏原生支持的HPC系统上生产级的Docker部署工作流。
• 提供一种用户空间解决方案，无需系统管理员介入或预先安装容器软件。

提出的方法

• 设计一种BEE-VM后端，通过在虚拟机中运行Docker容器来隔离并封装应用环境。
• 使用虚拟机作为标准后端，在现有HPC系统上以用户空间方式部署Docker容器。
• 配置BEE环境，以支持HPC应用在容器内的构建与执行阶段。
• 通过保留系统级性能特征，确保与现有HPC应用的兼容性。
• 通过容器化抽象系统特定依赖，实现在异构HPC平台间的应用可移植性。
• 使用户能够在不修改底层HPC基础设施的前提下，在一致环境中构建和运行应用。

实验结果

研究问题

• RQ1 如何有效将Docker容器化集成到缺乏原生Docker支持的现有HPC系统中？
• RQ2 何种架构方法能够实现在多种HPC环境中可移植的HPC应用构建与执行？
• RQ3 基于虚拟机的Docker环境能否保持与原生HPC执行相当的高性能？
• RQ4 BEE-VM提供的抽象与隔离程度如何，以确保应用的可复现性与可移植性？
• RQ5 该解决方案如何在无需系统管理员配置或特权访问的情况下实现用户空间部署？

主要发现

• BEE-VM使HPC应用能够在不同HPC系统上以一致且可移植的环境进行构建与执行，而无需重新配置。
• 该方法消除了应用用户在每个目标HPC环境中重新编译或重新配置软件的需求。
• BEE环境中HPC应用的性能与原生执行相当，保持了计算效率。
• 该解决方案完全运行在用户空间，避免了系统级更改或特权访问的需求。
• BEE-VM后端为在HPC系统上部署基于Docker的工作负载提供了标准化、可扩展的基础。
• BEE中容器化的应用保持了可复现性与隔离性，提升了在异构HPC基础设施中的可移植性与可靠性。