[논문 리뷰] Dominant Resource Fairness in Cloud Computing Systems with Heterogeneous Servers

Wei Wang, Baochun Li외 1명|arXiv (Cornell University)|2013. 08. 01.

Cloud Computing and Resource Management참고 문헌 24인용 수 90

한 줄 요약

이 논문은 다양한 서버 구성이 있는 이질적인 클라우드 환경으로 DRF(Dominant Resource Fairness)를 일반화하는 다중 자원 할당 메커니즘인 DRFH를 제안한다. 전체 자원 풀에 걸쳐 각 사용자의 글로벌 주도 할당량을 동일하게 맞추어, 공정성, 효율성, 진실성 보장을 달성하며, 구글 클러스터 트레이스를 기반으로 한 대규모 시뮬레이션 결과, 기존 슬롯 기반 스케줄러 대비 자원 활용도 향상과 작업 완료 시간 단축을 크게 개선함을 보여준다.

ABSTRACT

We study the multi-resource allocation problem in cloud computing systems where the resource pool is constructed from a large number of heterogeneous servers, representing different points in the configuration space of resources such as processing, memory, and storage. We design a multi-resource allocation mechanism, called DRFH, that generalizes the notion of Dominant Resource Fairness (DRF) from a single server to multiple heterogeneous servers. DRFH provides a number of highly desirable properties. With DRFH, no user prefers the allocation of another user; no one can improve its allocation without decreasing that of the others; and more importantly, no user has an incentive to lie about its resource demand. As a direct application, we design a simple heuristic that implements DRFH in real-world systems. Large-scale simulations driven by Google cluster traces show that DRFH significantly outperforms the traditional slot-based scheduler, leading to much higher resource utilization with substantially shorter job completion times.

연구 동기 및 목표

• 다양한 서버 구성과 워크로드 수요를 가진 이질적인 클라우드 환경에서 슬롯 기반 스케줄러의 비효율성을 해결한다.
• 이질적인 서버 자원을 이질적인 사용자 워크로드에 공정하고 효율적으로 할당하는 다중 자원 할당 메커니즘을 개발한다.
• 이질성 하에서 선호도 없음, 파레토 최적성, 진실성 등의 바람직한 성질을 확보한다.
• 실제 클라우드 시스템에 구현 가능한 히우리스틱을 설계한다.
• 기존 스케줄러 대비 성능 향상을 입증하기 위해 실제 구글 클러스터 트레이스를 사용해 메커니즘을 평가한다.

제안 방법

• 모든 클라우드 자원 풀에 걸쳐 각 사용자의 글로벌 주도 할당량—즉, 전체 자원 풀에서 할당된 자원 중 최대 비율—을 동일하게 맞추는 DRFH를 제안한다.
• 글로벌 주도 할당량을 정의하여 단일 서버 DRF를 이질적이고 분산된 시스템으로 일반화한다.
• 자원 분할 최소화 및 할당 효율성 최대화를 기반으로 작업을 서버에 할당하는 베스트피트 히우리스틱을 구현한다.
• 사용자가 자신의 진짜 자원 수요를 과장하거나 허위로 보고해도 이득을 볼 수 없음을 증명함으로써 진실성을 확보한다.
• 실제 구글 클러스터 트레이스를 기반으로 한 대규모 시뮬레이션을 통해 DRFH를 슬롯 기반 스케줄러 및 프리패스 DRFH와 비교 평가한다.
• 선호도 없음, 파레토 최적성, 병목 공정성, 인구 단조성 등의 공정성 성질을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 자원 구성이 있는 다수의 이질적 서버로 구성된 클라우드 시스템에 대해 주도 자원 공정성(DRF)을 일반화할 수 있는가?
• RQ2 제안된 DRFH 메커니즘이 서버 이질성 하에서도 선호도 없음, 파레토 최적성, 진실성 등의 핵심 공정성 성질을 유지하는가?
• RQ3 실제 워크로드에서 DRFH는 기존 슬롯 기반 스케줄러 대비 자원 활용도와 작업 완료 시간 측면에서 어떻게 비교되는가?
• RQ4 DRFH는 공유 클라우드 환경에서 작업 완료 비율과 자원 공유 유인성을 어느 정도 향상시키는가?
• RQ5 베스트피트 DRFH와 같은 실용적 히우리스틱은 성능 이점을 유지하면서 실제로 클라우드 시스템에 DRFH를 효과적으로 구현할 수 있는가?

주요 결과

• DRFH는 기존 슬롯 기반 스케줄러 대비 자원 활용도를 크게 향상시키며, 시뮬레이션에서 모든 시간대에 걸쳐 베스트피트 DRFH가 균일하게 높은 활용도를 기록한다.
• 작업 완료 시간은 DRFH 하에서 크게 단축되며, 특히 더 많은 작업을 포함한 대용량 작업에서 평균 완료 시간 단축 효과가 두드러진다.
• 베스트피트 DRFH는 거의 모든 사용자에게 슬롯 스케줄러 대비 더 높은 작업 완료 비율을 제공하며, 약 20%의 사용자가 DRFH에서는 모든 작업을 완료하지만 슬롯 스케줄러에서는 완료하지 못한다.
• DRFH 하에서 단지 2%의 사용자만이 작업 완료 비율이 약간 감소할 뿐이며, 이는 강력한 자원 공유 유인성을 보여준다.
• 베스트피트 DRFH 히우리스틱은 자원 활용도와 작업 완료 시간 측면에서 프리패스 DRFH 버전보다 뛰어나며, 할당 전략의 중요성을 확인한다.
• 서버 이질성으로 인한 복잡성에도 불구하고 DRFH는 선호도 없음, 파레토 최적성, 진실성 등의 핵심 공정성 성질을 유지한다.