[논문 리뷰] Managing Deadline-constrained Bag-of-Tasks Jobs on Hybrid Clouds

Bo Wang, Ying Song외 2명|arXiv (Cornell University)|2016. 04. 28.

Cloud Computing and Resource Management참고 문헌 16인용 수 9

한 줄 요약

이 논문은 이질적인 로컬 자원을 갖춘 하이브리드 클라우드에서 마감일이 정해진 배치 작업(BoT) 작업을 스케줄링하기 위한 휴리스틱 알고리즘을 제안한다. 이 알고리즘은 공공 클라우드의 임대 비용을 최소화하면서도 로컬 자원 활용도를 극대화하는 것을 목표로 한다. 마감일에 가장 가까운 작업을 우선순위로 정하고, 동적으로 가장 비용 효율적인 물리적 머신 또는 가상 머신을 할당함으로써, 기존의 first-fit decreasing(FFD) 대비 임대 비용을 16.2%~76% 감소시키고, 자원 활용도를 47.3%~182.8% 향상시킨다.

ABSTRACT

Outsourcing jobs to a public cloud is a cost-effective way to address the problem of satisfying the peak resource demand when the local cloud has insufficient resources. In this paper, we study on managing deadline-constrained bag-of-tasks jobs on hybrid clouds. We present a binary nonlinear programming (BNP) problem to model the hybrid cloud management where the utilization of physical machines (PMs) in the local cloud/cluster is maximized when the local resources are enough to satisfy the deadline constraints of jobs, while when not, the rent cost from the public cloud is minimized. To solve this BNP problem in polynomial time, we proposed a heuristic algorithm. Its main idea is assigning the task closest to its deadline to current core until the core cannot finish any task within its deadline. When there is no available core, the algorithm adds an available PM with most capacity or rents a new VM with highest cost-performance ratio. Extensive experimental results show that our heuristic algorithm saves 16.2%-76% rent cost and improves 47.3%-182.8% resource utilizations satisfying deadline constraints, compared with first fit decreasing algorithm.

연구 동기 및 목표

• 이질적인 로컬 자원을 갖춘 하이브리드 클라우드 환경에서 마감일이 정해진 배치 작업(BoT) 작업을 비용 효율적으로 관리하는 문제를 해결하기 위해.
• 공공 클라우드에서 가상 머신(VM)을 임대하는 비용을 최소화하면서도 로컬 물리적 머신(PM)의 활용도를 극대화하기 위해.
• строго한 마감일 제약 조건 하에서 작업을 자원에 효과적으로 매핑할 수 있는 다항 시간 내 휴리스틱을 개발하기 위해.
• 실세계 워크로드를 사용하여 첫 번째 적합 감소(FFD) 기준 대비 알고리즘 성능을 평가하기 위해.
• 과학적 및 데이터 집약적 워크로드를 위한 하이브리드 클라우드 환경에서 비용 최소화와 자원 활용도 극대화를 균형 있게 달성하기 위해.

제안 방법

• 로컬 PM 활용도와 공공 클라우드 임대 비용을 동시에 최적화하기 위해 하이브리드 클라우드 관리 문제를 이진 비선형계획모형(BNP)으로 수식화한다.
• 마감일과 완료 시간의 차이를 최소화하는 방식으로 작업을 코어에 할당하는 휴리스틱 알고리즘을 제안한다.
• 기존 자원으로는 마감일 내에 작업을 완료할 수 없는 경우, 가용 용량이 가장 높은 PM을 추가하거나, 비용 대비 성능 비율이 가장 우수한 VM을 임대한다.
• 각 단계에서 가장 효율적인 로컬 PM 또는 공공 클라우드 VM을 선택하여 자원 풀을 동적으로 확장한다.
• 이중 전략을 사용한다: 첫 번째로, 마감일 위반을 최소화하기 위해 기존 코어에 작업을 할당한다; 두 번째로, 필요할 경우에만 새로운 자원을 확보한다.
• 비용 대비 성능 비율 지표를 사용하여 VM 임대 우선순위를 정함으로써, 공공 클라우드 확장 시 비용 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 마감일이 정해진 BoT 작업을 위한 하이브리드 클라우드에서 작업 스케줄링과 자원 확보를 공동으로 최적화하여 공공 클라우드 임대 비용을 최소화할 수 있는 방법은 무엇인가?
• RQ2 이질적인 로컬 자원은 하이브리드 클라우드 작업 관리의 효율성과 비용에 어떤 영향을 미치는가?
• RQ3 NP-난이도 문제인 하이브리드 클라우드 관리의 BNP 수식화에 대해 다항 시간 내에 근사 최적 성능을 달성할 수 있는 휴리스틱 알고리즘이 가능한가?
• RQ4 제안된 알고리즘은 첫 번째 적합 감소(FFD) 알고리즘 대비 비용 절감과 자원 활용도 측면에서 어떻게 비교되는가?
• RQ5 모든 작업이 마감일을 지키는 조건에서 로컬 자원 활용도를 얼마나 극대화할 수 있는가?

주요 결과

• 제안된 휴리스틱 알고리즘은 두 개의 실세계 워크트레이스를 대상으로 FFD 알고리즘 대비 16.2%~76%의 임대 비용 절감을 달성한다.
• 마감일 제약 조건 하에서 자원 활용도는 FFD 대비 47.3%~182.8% 향상되어 로컬 자원 사용의 뛰어난 효율성을 보여준다.
• 알고리즘은 다양한 워크로드 패턴과 마감일 제약 조건 하에서도 높은 확장성과 우수한 성능을 보인다.
• BNP 모델은 로컬 자원 활용도와 공공 클라우드 비용 간의 상충 관계를 효과적으로 반영하여, 비용 효율적인 하이브리드 클라우드 관리가 가능하다.
• 휴리스틱 해법은 계산적으로 효율적이며 다항 시간 내에 실행되어 실세계 적용에 실용적이다.
• 알고리즘은 마감일에 가장 가까운 작업을 우선순위로 정하고, 가장 비용 효율적인 자원을 지능적으로 확보함으로써 FFD를 능가한다.