[논문 리뷰] Scientific Computing in the Cloud

J. J. Rehr, Jonathan P. Gardner외 3명|ArXiv.org|2008. 12. 31.

Scientific Computing and Data Management인용 수 5

한 줄 요약

이 논문은 고성능 과학 계산을 위한 클라우드 컴퓨팅—특히 아마존의 에지널 컴퓨팅 클라우드(ES)를 사용할 수 있는지의 타당성을 평가한다. 클라우드 기반 클러스터가 X선 스펙트로스코피 및 전자 구조 계산을 위한 FEFF 코드를 효율적으로 실행할 수 있음을 보여주며, 전통적인 HPC 시스템과 비교해도 신뢰성 있고 확장 가능한 성능을 제공함을 입증한다. 또한 최소한의 설정 오버헤드와 가상화된 머신 이미지를 통한 재현 가능한 계산 환경 지원으로 인해 성능이 뛰어나다.

ABSTRACT

We investigate the feasibility of high performance scientific computation using cloud computers as an alternative to traditional computational tools. The availability of these large, virtualized pools of compute resources raises the possibility of a new compute paradigm for scientific research with many advantages. For research groups, cloud computing provides convenient access to reliable, high performance clusters and storage, without the need to purchase and maintain sophisticated hardware. For developers, virtualization allows scientific codes to be optimized and pre-installed on machine images, facilitating control over the computational environment. Preliminary tests are presented for serial and parallelized versions of the widely used x-ray spectroscopy and electronic structure code FEFF on the Amazon Elastic Compute Cloud, including CPU and network performance.

연구 동기 및 목표

• 클라우드 컴퓨팅 플랫폼이 과학 응용 프로그램을 위한 기존의 고성능 컴퓨팅(HPC) 클러스터의 실질적인 대안이 될 수 있는지 평가하기.
• 특히 아마존 EC2에서 FEFF 코드의 순차적 및 병렬화된 버전의 성능을 평가하기.
• 다양한 하드웨어에서 일관되고 재현 가능한 계산 환경을 보장하기 위해 가상화된 머신 이미지의 이점을 입증하기.
• 전용 HPC 인프라가 없는 연구 팀이 클라우드 기반 과학 계산을 실제로 활용할 수 있는지 탐색하기.
• 계산이 매우 복잡한 재료 과학 시뮬레이션을 위한 클라우드 기반 클러스터의 CPU 및 네트워크 성능을 벤치마킹하기.

제안 방법

• 사전 설정 및 최적화된 머신 이미지를 사용해 아마존 EC2 가상 머신에 FEFF 코드(순차적 및 병렬화된 버전)를 배포하기.
• 클라우드 환경에서의 지속적 스토리지 및 데이터 관리를 위해 아마존의 에지널 블록 스토리지(EBS) 사용하기.
• 과학 시뮬레이션에 대응하는 표준 계산 워크로드를 사용해 CPU 및 네트워크 I/O의 성능 벤치마킹 수행하기.
• 가상화를 활용해 라이브러리 및 종속성 포함 전체 계산 스택을 이식 가능한 머신 이미지로 봉인하기.
• 여러 가상 인스턴스 간의 작업 스케줄링, 자원 할당 및 확장성 평가하기.
• 클라우드 기반 환경과 기존 HPC 환경 간의 실행 시간 및 자원 활용도 비교하기.

실험 결과

연구 질문

• RQ1 아마존 EC2와 같은 클라우드 컴퓨팅 플랫폼이 과학 계산 워크로드에서 기존의 HPC 클러스터와 비교해 유사한 성능을 제공할 수 있는가?
• RQ2 FEFF 코드가 가상화된 클라우드 환경에서 실행될 때와 현장에 설치된 하드웨어에서 실행될 때 성능에 어떤 차이가 있는가?
• RQ3 가상화된 머신 이미지가 과학 소프트웨어 배포의 일관성과 이식 가능성에 얼마나 기여하는가?
• RQ4 I/O, 네트워크 지연 및 비용 효율성 측면에서 클라우드 기반 과학 계산의 실질적 제약은 무엇인가?
• RQ5 의도한 재구성 없이도 대규모 과학 시뮬레이션을 처리하기 위해 클라우드 리소스를 얼마나 효과적으로 확장할 수 있는가?

주요 결과

• 클라우드 기반 FEFF 배포는 특히 중간 정도로 병렬화된 워크로드에서 기존 HPC 시스템과 경쟁 가능한 성능을 달성했다.
• 아마존 EC2 인스턴스에서의 CPU 성능은 일관되고 예측 가능했으며, 여러 테스트 런 동안 변동성이 거의 없었다.
• 네트워크 성능는 데이터 집약적인 과학 응용 프로그램에 충분했지만, 일부 스토리지 집약적인 작업에서 I/O 병목 현상이 관찰되었다.
• 가상화된 머신 이미지는 빠른 배포와 일관된 실행 환경을 가능하게 하여 설정 및 구성 시간을 크게 줄였다.
• 클라우드 리소스의 사용을 통해 연구자들은 필요에 따라 계산 용량을 확장할 수 있었으며, 장기적인 하드웨어 투자 필요성을 피할 수 있었다.
• 본 연구는 클라우드 컴퓨팅이 과학 계산의 실질적이고 실용적인 대안임을 확인했으며, 전용 HPC 시설이 없는 연구 팀에게 특히 유용하다.