[논문 리뷰] Dynamic scheduling of virtual machines running hpc workloads in scientific grids

Omer Khalid, Ivo Maljević외 4명|arXiv (Cornell University)|2010. 09. 24.

Distributed and Parallel Computing Systems참고 문헌 11인용 수 228

한 줄 요약

이 논문은 과학적 그룹웨어에서 HPC 워크로드를 처리하기 위해 가상화로 인한 실시간 성능 오버헤드를 모니터링함으로써 워크로드 유형과 마감 기한에 적응하는 동적 VM 스케줄링 프레임워크를 제안한다. 워크로드를 CPU, 메모리 또는 I/O 집약적인 유형으로 분류하고 이를 바탕으로 스케줄링 결정을 조정함으로써, 변동하는 가상화 오버헤드에도 불구하고 마감 기한을 준수하는 작업 수를 증가시킨다.

ABSTRACT

The primary motivation for uptake of virtualization has been resource isolation, capacity management and resource customization allowing resource providers to consolidate their resources in virtual machines. Various approaches have been taken to integrate virtualization in to scientific Grids especially in the arena of High Performance Computing (HPC) to run grid jobs in virtual machines, thus enabling better provisioning of the underlying resources and customization of the execution environment on runtime. Despite the gains, virtualization layer also incur a performance penalty and its not very well understood that how such an overhead will impact the performance of systems where jobs are scheduled with tight deadlines. Since this overhead varies the types of workload whether they are memory intensive, CPU intensive or network I/O bound, and could lead to unpredictable deadline estimation for the running jobs in the system. In our study, we have attempted to tackle this problem by developing an intelligent scheduling technique for virtual machines which monitors the workload types and deadlines, and calculate the system over head in real time to maximize number of jobs finishing within their agreed deadlines.

연구 동기 및 목표

• 과학적 그룹웨어에서 HPC 워크로드를 실행할 때 발생하는 가상화로 인한 성능 오버헤드를 해결하기 위해.
• 가상화된 HPC 환경에서 시간이 중요한 작업의 마감 기한 준수를 향상시키기 위해.
• 워크로드 특성에 맞는 가상화 오버헤드를 고려하는 동적 스케줄링 기법을 개발하기 위해.
• 워크로드 유형과 마감 기한 제약 조건에 기반해 스케줄링 결정을 실시간으로 적응시키기 위해.
• 변동하는 가상화 오버헤드 하에서 약속된 마감 기한 내에 완료되는 작업 수를 최대화하기 위해.

제안 방법

• 시스템은 런타임 프로파일링을 기반으로 들어오는 워크로드를 CPU 집약적, 메모리 집약적, 또는 I/O 집약적 유형으로 분류한다.
• 각 워크로드 유형에 대해 가상화 레이어에서 발생하는 실시간 성능 오버헤드를 모니터링한다.
• 동적 스케줄링 알고리즘은 워크로드 분류 및 오버헤드 추정 정보를 사용하여 VM의 우선순위를 정하고 할당한다.
• 스케줄러는 예측된 오버헤드와 마감 기한의 긴급도에 따라 자원 할당 및 배치 결정을 조정한다.
• 런타임 피드백을 통합하여 오버헤드 추정을 정교화하고 스케줄링 정확도를 향상시킨다.
• 프레임워크는 실제 HPC 워크로드 트레이스를 사용하여 시뮬레이션된 그룹웨어 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 HPC 워크로드 유형(_CPU, 메모리, I/O 집약적)에 따라 가상화 오버헤드가 어떻게 달라지는가?
• RQ2 동적 스케줄링이 변동하는 가상화 오버헤드로 인한 마감 기한 위반을 어느 정도 줄일 수 있는가?
• RQ3 워크로드 분류가 가상화된 과학적 그룹웨어에서 스케줄링 정확도와 마감 기한 준수에 기여하는가?
• RQ4 실시간 오버헤드 모니터링이 시간 민감한 HPC 워크로드의 스케줄링 결정을 어떻게 향상시키는가?
• RQ5 동적 스케줄링이 마감 기한 내에 완료되는 작업 수에 미치는 영향은 무엇인가?

주요 결과

• 제안된 동적 스케줄링 기법은 정적 또는 비적응형 스케줄링에 비해 마감 기한 준수 수준을 크게 향상시킨다.
• CPU, 메모리 또는 I/O 집약적 유형으로 워크로드를 분류함으로써 가상화 오버헤드의 정확한 예측이 가능해진다.
• 오버헤드의 실시간 모니터링을 통해 스케줄러는 자원 할당 전략을 조정하고 마감 기한 위반을 줄일 수 있다.
• 다양한 워크로드 조건 하에서도 마감 기한 내에 완료되는 작업 수가 유의미하게 증가한다.
• 워크로드 특성에 맞는 오버헤드를 고려함으로써 더 예측 가능하고 신뢰할 수 있는 스케줄링 결과를 도출할 수 있음을 프레임워크가 입증한다.
• 결과적으로 워크로드 유형과 오버헤드 추정에 기반한 동적 적응이 가상화된 HPC 환경에서의 전체 시스템 신뢰성을 향상시킨다.