[논문 리뷰] QoS-Based Pricing and Scheduling of Batch Jobs in OpenStack Clouds

Thomas Sandholm, Julie Ward외 2명|arXiv (Cornell University)|2015. 04. 27.

Cloud Computing and Resource Management참고 문헌 15인용 수 6

한 줄 요약

이 논문은 OpenStack 클라우드에서 배치 작업을 위한 QoS 기반의 가격 설정 및 스케줄링 메커니즘을 제안한다. 사용자는 노드 시간당 가격이 아닌 보장된 작업 완료 시간을 위해 지불한다. QoS 수준을 완료 시간 티어로 모델링하고 수익 최적화 가격 함수를 사용함으로써, 고정된 노드 시간당 가격 대비 최대 40% 수준의 수익 증가를 이룩하며, 낮은 혼잡 조건에서 자원 활용도와 사용자 유틸리티를 향상시킨다.

ABSTRACT

The current Cloud infrastructure services (IaaS) market employs a resource-based selling model: customers rent nodes from the provider and pay per-node per-unit-time. This selling model places the burden upon customers to predict their job resource requirements and durations. Inaccurate prediction by customers can result in over-provisioning of resources, or under-provisioning and poor job performance. Thanks to improved resource virtualization and multi-tenant performance isolation, as well as common frameworks for batch jobs, such as MapReduce, Cloud providers can predict job completion times more accurately. We offer a new definition of QoS-levels in terms of job completion times and we present a new QoS-based selling mechanism for batch jobs in a multi-tenant OpenStack cluster. Our experiments show that the QoS-based solution yields up to 40% improvement over the revenue of more standard selling mechanisms based on a fixed per-node price across various demand and supply conditions in a 240-VCPU OpenStack cluster.

연구 동기 및 목표

• 사용자가 자원 수요와 작업 완료 시간을 예측하기 어려운 클라우드 배치 작업 스케줄링에서의 노드 시간당 가격 설정의 한계를 해결하기 위해.
• 자원 기반 가격 설정에서 결과 기반 가격 설정으로 전환함으로써 과잉 및 과소 프로비저닝을 줄이기 위해, 작업 완료 시간 보장을 기반으로 한다.
• 클라우드 제공자가 작업의 급박성에 따라 가격 차별화를 통해 수익과 사회적 복지를 증가시킬 수 있도록 하기 위해.
• 예상 완료 시간과 가용 자원 용량을 기반으로 동적으로 작업을 수용함으로써 자원 활용도와 시스템 효율성을 향상시키기 위해.
• 실제 도입 및 평가를 위해 QoS 기반 가격 설정을 OpenStack Sahara와 통합하기 위해.

제안 방법

• 보장된 작업 완료 시간을 기준으로 QoS 수준을 정의하고, 다양한 시간 창에 해당하는 다수의 티어를 설정한다.
• 완료 시간 티어와 현재 클러스터 로드를 기반으로 가격을 설정하는 수익 최적화 가격 함수를 설계한다.
• 가용성 및 가격 설정 가능성을 평가하기 위해 작업 완료 시간 예측을 스케줄링 파이프라인에 통합한다.
• 노드가 충분하지 않을 경우에만 작업을 거부하는 동적 수용 제어 메커니즘을 구현한다.
• 비교 평가를 위해 고정된 노드 시간당 기준(기준, Bench)과 수익 최적화 가격 모델(RevOp)을 사용한다.
• 다양한 작업 도착 간격과 노드 용량 조건에서 240-VCPU OpenStack 클러스터에서 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 보장된 작업 완료 시간을 제공하는 QoS 기반 가격 모델이 기존의 노드 시간당 가격 설정 대비 제공자 수익 측면에서 뛰어난가?
• RQ2 다양한 부하 조건에서 제안된 메커니즘이 시스템 활용도, 사용자 순유틸리티, 작업 성공률에 어떤 영향을 미치는가?
• RQ3 낮은 혼잡 조건에서 가격 모델이 사회적 복지와 자원 활용도를 얼마나 향상시키는가?
• RQ4 고도의 혼잡 조건에서 간섭과 마감 시간 초과에 대해 시스템은 어떻게 대응하며, 가격 설정이 이러한 위험을 반영할 수 있는가?
• RQ5 OpenStack Sahara에서 완료 시간 예측과 동적 가격 설정을 통합함으로써 QoS 기반 배치 작업 스케줄링의 확장성 있는 실세계 도입이 가능한가?

주요 결과

• 제안된 QoS 기반 가격 설정 메커니즘은 모든 테스트 구성에서 고정된 노드 시간당 가격 대비 최대 40% 수준의 제공자 수익 증가를 달성한다.
• 낮은 혼잡 조건에서 자원 활용도가 65%에 도달했으며(기준 대비 32%), 이는 자원 활용도 향상의 명확한 증거이다.
• 수용률이 71%에서 84%로 상승하여 새로운 모델 하에서 더 많은 작업이 성공적으로 스케줄링됨을 보여준다.
• 계약 성공률은 95%로 유지되며(기준 대비 99%), 고도의 혼잡 조건에서 5-15% 감소할 뿐이므로 간섭에 대해 뛰어난 내구성을 보인다.
• 사용자 만족도를 명시적으로 최적화하지 않았음에도 불구하고 총 사용자 순유틸리티가 최대 20% 향상되어 사회적 복지 향상이 이루어졌음을 시사한다.
• 고도의 혼잡 조건에서 시스템 성능이 저하됨을 확인하여, 향후 수요 예측 및 실패 위험을 통합한 가격 모델 개발이 필요함을 시사한다.