[논문 리뷰] Docker-Enabled Build and Execution Environment (BEE): an Encapsulated Environment Enabling HPC Applications Running Everywhere

Jieyang Chen, Qiang Guan외 6명|arXiv (Cornell University)|2017. 12. 19.

Cloud Computing and Resource Management참고 문헌 16인용 수 5

한 줄 요약

이 논문은 시스템 수준의 구성이나 전용 소프트웨어가 필요 없이 다양한 HPC 플랫폼 간에 이식 가능하고 재현 가능한 빌드 및 실행을 가능하게 하는, Docker 기반의 빌드 및 실행 환경(BEE)을 제안한다. BEE-VM 백엔드를 사용하여 애플리케이션 환경을 캡슐화함으로써, 고성능을 유지하면서도 다른 시스템에 맞게 애플리케이션을 다시 구성하거나 재빌드할 필요 없이 이식 가능하게 한다.

ABSTRACT

Variations in High Performance Computing (HPC) system software configurations mean that applications are typically configured and built for specific HPC environments. Building applications can require a significant investment of time and effort for application users and requires application users to have additional technical knowledge. Container technologies like Docker bring great benefits to the application development, build and deployment processes. While much cloud computing infrastructure is already designed to support Docker, little work has been done to support production Docker deployment on HPC systems. In this work, we propose a Docker-enabled Build and Execution Environment (BEE) for HPC systems and detail a standard backend for BEE using virtual machines, the BEE-VM. This brings many of the benefits of Docker to existing HPC machines in user-space without the requirement of specialized pre-installed software and with no system administrator configuration. We show that current HPC application can be easily configured to run within BEE, eliminating the need to reconfigure and rebuild applications for different systems while preserving comparable performance.

연구 동기 및 목표

• 다양한 시스템 소프트웨어 구성으로 인해 HPC 애플리케이션의 이식성이 떨어지는 문제를 해결하기 위해.
• 다양한 HPC 환경 간에 HPC 애플리케이션을 빌드하고 배포하는 데 소요되는 시간과 기술적 숙련도를 줄이기 위해.
• 현재 네이티브로 지원되지 않는 이러한 워크플로우를 위한 프로덕션 수준의 Docker 배포를 HPC 시스템에 가능하게 하기 위해.
• 시스템 관리자의 간섭이나 사전 설치된 컨테이너 소프트웨어 없이도 사용자 영역에서 작동하는 솔루션을 제공하기 위해.

제안 방법

• Docker 컨테이너를 가상 머신 내에서 실행하여 애플리케이션 환경을 격리하고 캡슐화하는 BEE-VM 백엔드를 설계하기 위해.
• 기존 HPC 시스템에서 사용자 영역에 Docker 컨테이너를 배포하기 위해 가상 머신을 표준 백엔드로 사용하기 위해.
• 컨테이너 내에서 HPC 애플리케이션의 빌드 및 실행 단계를 모두 지원할 수 있도록 BEE 환경을 구성하기 위해.
• 시스템 수준의 성능 특성을 유지함으로써 기존 HPC 애플리케이션과의 호환성을 확보하기 위해.
• 컨테이너화를 통해 시스템 특화 종속성을 추상화하여 이질적인 HPC 플랫폼 간의 애플리케이션 이식성을 보장하기 위해.
• 기본 HPC 인프라를 수정하지 않고도 사용자가 일관된 환경에서 애플리케이션을 빌드하고 실행할 수 있도록 하기 위해.

실험 결과

연구 질문

• RQ1 네이티브 Docker 지원이 없는 기존 HPC 시스템에 Docker 컨테이너화를 효과적으로 통합할 수 있는가?
• RQ2 다양한 HPC 환경 간에 이식 가능한 HPC 애플리케이션 빌드 및 실행을 가능하게 하는 아키텍처적 접근 방식은 무엇인가?
• RQ3 VM 기반의 Docker 환경이 네이티브 HPC 실행과 비교해 고성능을 유지할 수 있는가?
• RQ4 BEE-VM이 애플리케이션의 재현 가능성과 이식성을 보장하기 위해 제공하는 추상화 수준과 격리 수준은 어느 정도인가?
• RQ5 시스템 관리자 설정이나 특권 접근 없이 사용자 영역에서 솔루션을 어떻게 배포할 수 있는가?

주요 결과

• BEE-VM은 시스템 재구성 없이도 다양한 HPC 시스템 간에 일관되고 이식 가능한 환경에서 HPC 애플리케이션을 빌드하고 실행할 수 있도록 한다.
• 이 방법은 애플리케이션 사용자가 각각의 대상 HPC 환경에 맞게 소프트웨어를 다시 컴파일하거나 재구성할 필요가 없음을 의미한다.
• BEE 환경 내에서 HPC 애플리케이션의 성능는 네이티브 실행과 유사하여 계산 효율성이 유지된다.
• 솔루션은 완전히 사용자 영역에서 작동하여 시스템 수준의 변경이나 특권 접근이 필요 없음을 보장한다.
• BEE-VM 백엔드는 HPC 시스템에 Docker 기반 워크로드를 배포하기 위한 표준화되고 확장 가능한 기반을 제공한다.
• BEE 내의 컨테이너화된 애플리케이션은 재현 가능성과 격리를 유지하여 이질적인 HPC 인fra구조 간의 이식성과 신뢰성을 향상시킨다.