[논문 리뷰] On Dynamic Job Ordering and Slot Configurations for Minimizing the Makespan Of Multiple MapReduce Jobs

Wenhong Tian, Guangchun Luo외 2명|arXiv (Cornell University)|2016. 04. 15.

Cloud Computing and Resource Management참고 문헌 8인용 수 4

한 줄 요약

이 논문은 유권자 모델에 적응하는 UAAS 알고리즘을 제안하며, 다중 MapReduce 작업에서 제작시간을 최소화하기 위한 최적의 오프라인 스케줄링 방법을 제공한다. 작업의 동적 순서 정렬과 맵/리듀스 슬롯 비율 설정을 통해 UAAS는 최적의 제작시간을 달성하며, 슬롯 수 변화에 따라 결과가 열등해지는 휴리스틱 방법인 MK_JR 및 BalancedPools보다 뛰어난 성능을 보인다.

ABSTRACT

MapReduce is a popular parallel computing paradigm for Big Data processing in clusters and data centers. It is observed that different job execution orders and MapReduce slot configurations for a MapReduce workload have significantly different performance with regarding to the makespan, total completion time, system utilization and other performance metrics. There are quite a few algorithms on minimizing makespan of multiple MapReduce jobs. However, these algorithms are heuristic or suboptimal. The best known algorithm for minimizing the makespan is 3-approximation by applying Johnson rule. In this paper, we propose an approach called UAAS algorithm to meet the conditions of classical Johnson model. Then we can still use Johnson model for an optimal solution. We explain how to adapt to Johnson model and provide a few key features of our proposed method.

연구 동기 및 목표

• 다중 MapReduce 작업에서 제작시간을 최소화하기 위한 최적의 오프라인 스케줄링에 대한 격차를 해소하기 위해.
• 최적의 제작시간을 보장하지 못하는 휴리스틱 또는 부분 최적 알고리즘인 MK_JR 및 BalancedPools와 같은 알고리즘의 한계를 극복하기 위해.
• 존슨 모델의 최적성 조건을 충족시키기 위해 작업 순서와 슬롯 구성 설정을 동적으로 적응시키는 스케줄링 방법을 개발하기 위해.
• 제안된 방법이 클러스터 자원 가용성 변화 상황에서도 안정적이고 최적의 작업 순서를 보장함을 검증하기 위해.

제안 방법

• UAAS 알고리즘은 존슨의 고전적 이중기계 흐름상점 모델의 조건을 만족시키도록 MapReduce 작업 스케줄링 문제를 재구성하여 최적의 스케줄링을 가능하게 한다.
• 맵 단계 및 리듀스 단계의 소요 시간에 기반해 동적으로 작업 실행 순서를 결정함으로써, 존슨의 규칙을 통해 최적의 순서를 확보한다.
• 제작시간을 최소화하기 위해 슬롯 할당 비율(ρ = |S^M|/|S^R|)을 적응적으로 조정하며, 실행 시간과 가용 슬롯 수 사이의 비례 관계를 유지한다.
• 슬롯 가용성에 기반한 작업 실행 시간의 변환을 사용한다: T’_i^M = T_i^M × (|S^M| / |S_x^M|) 및 T’_i^R = T_i^R × (|S^R| / |S_x^R|), 이는 상대적 작업 소요 시간 순서를 유지한다.
• 총 슬레이브 노드 수가 변경되더라도 실행 시간의 비례적 스케일링 덕분에 작업 순서가 안정적으로 유지됨을 보장한다.
• 이론적 분석을 활용해 최적의 슬롯 구성은 워크로드, 작업 순서, 총 슬롯 수에 따라 달라짐을 증명한다.

실험 결과

연구 질문

• RQ1 존슨 모델에 적응함으로써 다중 MapReduce 작업에 대한 최적의 오프라인 스케줄링 알고리즘을 설계할 수 있는가?
• RQ2 동적 작업 순서 정렬과 슬롯 구성이 MapReduce 클러스터에서 제작시간 최소화에 어떻게 영향을 미치는가?
• RQ3 기존의 휴리스틱 접근 방식인 MK_JR 및 BalancedPools가 자원 변화 상황에서 최적의 제작시간을 달성하지 못하는 이유는 무엇인가?
• RQ4 MapReduce 스케줄링 알고리즘이 최적의 제작시간을 보장하기 위해 충족시켜야 할 조건은 무엇인가?
• RQ5 맵 슬롯과 리듀스 슬롯 비율(ρ)은 최종 제작시간에 어떤 영향을 미치며, 이를 최적화할 수 있는가?

주요 결과

• UAAS 알고리즘은 존슨 모델의 모든 조건을 충족시켜 1-근사 해를 달성함으로써 최적의 제작시간을 확보한다.
• MK_JR(3-근사 알고리즘)와 달리 UAAS는 최적의 성능을 보장하며, 시험 환경에서 제작시간을 최대 86.17%까지 감소시킨다.
• 노드 장애 등 클러스터 크기 변화 상황에서도 UAAS의 작업 순서는 안정적이지만, MK_JR 및 BalancedPools는 일관성 없고 부분 최적의 순서를 생성한다.
• 최적의 슬롯 비율 ρ는 워크로드 특성, 작업 순서, 총 가용 슬롯 수에 따라 달라지며, C_max에 대한 유도된 식에 의해 명시된다.
• 광범위한 이론적 분석을 통해 UAAS는 BalancedPools와 같은 휴리스틱 대안보다 뛰어난 성능을 보이며, 열악한 로드 밸런싱과 고정된 풀 할당으로 인한 결함을 악용하지 않는다.
• 모든 가용 맵 및 리듀스 슬롯이 완전히 활용되어 유휴 시간이 최소화되고 시스템 처리량이 극대화됨을 보장한다.