[논문 리뷰] Building a Virtual HPC Cluster with Auto Scaling by the Docker

Hsi-En Yu, Weicheng Huang|arXiv (Cornell University)|2015. 09. 28.

Distributed and Parallel Computing Systems인용 수 13

한 줄 요약

이 논문은 소프트웨어 종속성 갈등 문제를 해결하기 위해 Docker 컨테이너를 사용하여 자동 스케일링 기능을 갖춘 가상 고성능 컴퓨팅(HPC) 클러스터를 구축한다. Docker의 경량 격리 기능을 활용하고 서비스 디스covery를 통합하여 동적 스케일링이 가능한 가상 HPC 클러스터를 설계함으로써, HPC 워크로드 환경에서 응용 프로그램 배포 및 종속성 관리가 간편해지는 확장성 있고 격리된, 재현 가능한 실행 환경을 제공한다.

ABSTRACT

Solving the software dependency issue under the HPC environment has always been a difficult task for both computing system administrators and application scientists. This work would like to tackle the issue by introducing the modern container technology, the Docker, to be specific. By integrating the auto-scaling feature of service discovery with the light-weight virtualization tool, the Docker, the construction of a virtual cluster on top of physical cluster hardware is attempted. Thus, through the isolation of computing environment, a remedy of software dependency of HPC environment is possible.

연구 동기 및 목표

• 응용 프로그램 이식성과 재현 가능성을 저해하는 HPC 시스템에서 지속적인 소프트웨어 종속성 갈등 문제를 해결한다.
• HPC 워크로드를 위한 격리된 컨테이너 기반 실행 환경을 제공하여 관리 부담과 환경 일관성 문제를 줄인다.
• 자동 스케일링을 통해 동적 자원 할당을 가능하게 하여 클러스터 자원 활용도와 워크로드 변동에 대한 반응성을 향상시킨다.
• Docker를 서비스 디스커버리와 통합하여 가상 HPC 클러스터에서 컨테이너 오케스트레이션과 스케일링을 자동화한다.
• 현대 컨테이너 기술을 활용한 HPC 응용 프로그램 배포 및 관리에 실용적이고 경량적이며 확장 가능한 프레임워크를 구현한다.

제안 방법

• HPC 응용 프로그램과 런타임 종속성을 모두 봉인하는 경량 가상화 기술로 Docker를 활용한다.
• 물리적 HPC 하드웨어 위에 구축된 Docker 컨테이너를 기반으로 가상 HPC 클러스터 추상화를 설계한다.
• 워크로드 수요를 감지하고 동적으로 컨테이너를 프로비저닝하기 위해 Docker를 서비스 디스커버리 메커니즘과 통합하여 자동 스케일링을 구현한다.
• 자원 사용량에 따라 컨테이너 생명 주기(생성, 스케일링, 종료)를 관리하기 위한 컨테이너 오케스트레이션 패턴을 사용한다.
• Docker의 네임스페이스와 cgroup 기능을 통해 환경 격리를 보장하여 응용 프로그램 간 충돌을 방지한다.
• 기존 HPC 인프라를 활용하면서도 컨테이너 워크로드를 통해 저수준 시스템 복잡성을 추상화한다.

실험 결과

연구 질문

• RQ1 Docker 컨테이너는 공유 HPC 환경에서 HPC 응용 프로그램을 효과적으로 격리하고 소프트웨어 종속성 갈등을 해결할 수 있는가?
• RQ2 HPC 환경에서 Docker와 자동 스케일링을 어떻게 통합하여 자원 활용도와 반응성을 향상시킬 수 있는가?
• RQ3 기존 HPC 배포 모델과 비교해 볼 때 제안된 가상 HPC 클러스터는 성능과 확장성 측면에서 어느 정도 유지되는가?
• RQ4 생산용 HPC 클러스터에서 동적이고 즉각적인 HPC 워크로드 관리를 위해 컨테이너 기술을 사용하는 데 실현 가능성이 있는가?
• RQ5 Docker와 서비스 디스커버리의 통합은 HPC 클러스터 운영의 자동화와 신뢰성에 어떻게 기여하는가?

주요 결과

• 제안된 Docker 기반 가상 HPC 클러스터는 컨테이너화를 통해 응용 프로그램을 효과적으로 격리하고 소프트웨어 종속성 갈등을 해결한다.
• 서비스 디스커버리 기반 자동 스케일링을 통해 워크로드 변화에 대응하는 동적 컨테이너 프로비저닝이 가능해져 자원 효율성이 향상된다.
• 시스템은 다양한 환경 간 HPC 워크로드의 배포 복잡도가 감소하고 재현 가능성이 향상됨을 입증한다.
• Docker 컨테이너의 경량성 덕분에 기존 가상 머신 대비 최소한의 성능 오버헤드를 기록한다.
• Docker와 서비스 디스커버리의 통합을 통해 주요 인프라 변경 없이도 자동화되고 확장 가능하며 신뢰할 수 있는 클러스터 관리가 가능하다.
• 다양한 소프트웨어 스택을 가진 복잡한 HPC 워크로드를 관리하기 위한 실용적이고 확장 가능하며 생산 환경에서 사용 가능한 솔루션을 제공한다.