[논문 리뷰] Phoenix Cloud: Consolidating Different Computing Loads on Shared Cluster System for Large Organization

Jianfeng Zhan, Lei Wang외 5명|arXiv (Cornell University)|2009. 06. 07.

Cloud Computing and Resource Management참고 문헌 8인용 수 12

한 줄 요약

Phoenix Cloud는 공유 클러스터에 이질적인 HPC 및 웹 서비스 워크로드를 통합하는 계층적 클라우드 관리 시스템을 제안하며, 협업 자원 할당 정책을 통해 인프라 규모를 최대 23% 감소시키면서 과학 계산 처리량을 향상시키고 동적 웹 워크로드에 충분한 자원을 확보한다.

ABSTRACT

Different departments of a large organization often run dedicated cluster systems for different computing loads, like HPC (high performance computing) jobs or Web service applications. In this paper, we have designed and implemented a cloud management system software Phoenix Cloud to consolidate heterogeneous workloads from different departments affiliated to the same organization on the shared cluster system. We have also proposed cooperative resource provisioning and management policies for a large organization and its affiliated departments, running HPC jobs and Web service applications, to share the consolidated cluster system. The experiments show that in comparison with the case that each department operates its dedicated cluster system, Phoenix Cloud significantly decreases the scale of the required cluster system for a large organization, improves the benefit of the scientific computing department, and at the same time provisions enough resources to the other department running Web services with varying loads.

연구 동기 및 목표

• 대규모 조직에서 HPC 및 웹 서비스를 위한 별도의 클러스터 시스템을 유지하는 데 발생하는 비효율성과 높은 행정 비용을 해결하기 위해.
• 이질적인 워크로드를 공유 인프라에 통합함으로써 필요한 총 클러스터 규모를 줄이기 위해.
• 자원 소비 패턴이 매우 변동성이 큰 웹 서비스 워크로드에 대해 충분한 자원 할당을 확보하면서도 HPC 작업의 자원 활용도를 향상시키기 위해.
• 서비스 품질에 영향을 주지 않으면서 부서 간 협업 자원 공유를 가능하게 하는 클라우드 관리 시스템을 개발하기 위해.
• 통합된 플랫폼에서 과학 계산과 웹 서비스 워크로드를 모두 지원하는 계층적 아키텍처를 설계하기 위해.

제안 방법

• 공유 인프라와 공통 서비스 프레임워크, 부서별 클라우드 관리 서비스(HP와 웹), 클라이언트 도구로 구성된 3계층 아키텍처를 구현하기 위해.
• 공통 서비스 프레임워크를 사용해 자원 관리와 애플리케이션 전용 로직을 분리함으로써 모듈성과 확장성을 확보한 시스템 설계를 위해.
• 작업 제출 패턴을 기반으로 자원을 효율적으로 할당하기 위해 HPC 스케줄러에 First-Fit 스케줄링 정책을 적용하기 위해.
• 실세계 트레이스 데이터를 사용해 웹 서비스의 동적 자원 수요를 시뮬레이션하고, 자원 시뮬레이터를 통해 자원 할당 및 반환을 제어하기 위해.
• 실제 자원 소비와의 일치도를 유지하면서도 2주 분량의 워크로드를 3시간 이내로 완료하기 위해 시뮬레이션 속도를 100배 가속하기 위해.
• 정적(전용 클러스터) 및 동적(통합) 구성 간 성능과 자원 활용도를 평가하기 위해 다양한 클러스터 규모에서 비교 분석하기 위해.

실험 결과

연구 질문

• RQ1 자원 소비 패턴과 활용도 패턴이 상이한 HPC 및 웹 서비스 워크로드를 공유 클러스터 인프라에서 효과적으로 통합할 수 있는가?
• RQ2 부서 간 협업 자원 할당이 전체 시스템의 효율성과 자원 활용도에 어떤 영향을 미치는가?
• RQ3 워크로드 통합 시 HPC 작업 완료율을 유지하거나 향상시키기 위해 필요한 최소 클러스터 규모는 얼마인가?
• RQ4 웹 서비스 정점 부하 시 성능 저하 없이 자원 공유가 전체 인프라 규모를 얼마나 줄일 수 있는가?
• RQ5 동적 통합 구성과 정적 전용 클러스터 구성 간에 도착에서 완료까지의 소요 시간과 작업 완료율은 어떻게 변화하는가?

주요 결과

• Phoenix Cloud는 전용 클러스터 구성 대비 최대 23%까지 클러스터 규모를 감소시켰으며, 160노드의 동적 구성이 정적 구성의 76.9% 규모에 도달했다.
• 160노드 클러스터 규모에서도 정적 구성 대비 더 많은 HPC 작업이 완료되어 자원 활용도와 처리량 향상을 시사한다.
• 동적 구성에서는 정적 설정 대비 평균 도착에서 완료까지의 소요 시간이 낮아져 더 나은 반응성과 성능을 보였다.
• 더 작은 클러스터 규모에서 HPC 작업이 종료되지 않은 수가 증가하지만, 170노드에서 약간의 이질적 현상이 발생하여 자원 할당 안정성의 임계점이 존재함을 시사한다.
• 실세계 트레이스 데이터를 기반으로 한 시뮬레이션 덕분에 웹 서비스 워크로드는 변동성이 큰 환경에서도 일관된 성능과 자원 할당을 유지하여 신뢰성을 확보했다.
• 시스템은 경쟁하는 워크로드를 성공적으로 균형 잡았으며, 과학 계산의 이점을 향상시키면서도 동적 웹 서비스에 필요한 자원을 충분히 확보했다.