[논문 리뷰] Optimization for Speculative Execution of Multiple Jobs in a MapReduce-like Cluster

Huanle Xu, Wing Cheong Lau|arXiv (Cornell University)|2014. 06. 03.

Cloud Computing and Resource Management참고 문헌 12인용 수 5

한 줄 요약

이 논문은 다양한 워크로드 하에서 MapReduce 유사 클러스터에 최적화 기반의 사전 실행 전략을 제안한다. 가벼운 부하가 가해진 클러스터에 대해 스마트 클로닝 알고리즘(Smart Cloning Algorithm, SCA)과 스트래글러 감지 알고리즘(Straggler Detection Algorithm, SDA)을 도입하고, 중간 이상의 부하가 가해진 클러스터에 대해서는 향상된 사전 실행(Enhanced Speculative Execution, ESE) 알고리즘을 제안하여, 기준 방법 대비 자원 사용과 유사한 수준을 유지하면서 각각 작업의 플로우타임을 최대 60%와 18% 감소시킨다.

ABSTRACT

Nowadays, a computing cluster in a typical data center can easily consist of hundreds of thousands of commodity servers, making component/ machine failures the norm rather than exception. A parallel processing job can be delayed substantially as long as one of its many tasks is being assigned to a failing machine. To tackle this so-called straggler problem, most parallel processing frameworks such as MapReduce have adopted various strategies under which the system may speculatively launch additional copies of the same task if its progress is abnormally slow or simply because extra idling resource is available. In this paper, we focus on the design of speculative execution schemes for a parallel processing cluster under different loading conditions. For the lightly loaded case, we analyze and propose two optimization-based schemes, namely, the Smart Cloning Algorithm (SCA) which is based on maximizing the job utility and the Straggler Detection Algorithm (SDA) which minimizes the overall resource consumption of a job. We also derive the workload threshold under which SCA or SDA should be used for speculative execution. Our simulation results show both SCA and SDA can reduce the job flowtime by nearly 60% comparing to the speculative execution strategy of Microsoft Mantri. For the heavily loaded case, we propose the Enhanced Speculative Execution (ESE) algorithm which is an extension of the Microsoft Mantri scheme. We show that the ESE algorithm can beat the Mantri baseline scheme by 18% in terms of job flowtime while consuming the same amount of resource.

연구 동기 및 목표

• 느린 작업이 전체 작업을 지연시키는 대규모 컴퓨팅 클러스터에서의 스트래글러 문제를 해결하기 위해.
• 가벼운 부하와 무거운 부하가 가해진 클러스터에서 모두 작업 유틸리티와 자원 소비를 균형 잡는 최적화 기반의 사전 실행 전략을 설계하기 위해.
• 가벼운 부하와 무거운 부하 클러스터 운영 제도를 구분하는 워크로드 임계값을 도출하기 위해.
• Microsoft Mantri와 같은 히ュ리스틱 기반의 사전 실행 방법을 개선하기 위해 데이터 기반의 분석 최적화 프레임워크를 도입하기 위해.

제안 방법

• 가벼운 부하가 가해진 클러스터에서 작업 유틸리티와 자원 소비를 동시에 최적화하는 일반화된 클로닝 기반 프레임워크를 제안한다.
• 스마트 클로닝 알고리즘(Smart Cloning Algorithm, SCA)을 도입하여 최적화 기준에 따라 전략적으로 백업 작업 복제본을 생성함으로써 작업 유틸리티를 최대화한다.
• 스트래글러 감지 알고리즘(Straggler Detection Algorithm, SDA)을 개발하여 스트래글러가 감지된 후 최적의 수의 백업 복제본만을 생성함으로써 자원 소비를 최소화한다.
• 클러스터 운영 제도(가벼운 부하 vs. 무거운 부하)를 분류하는 이론적 워크로드 임계값을 유도하여 제도별 전략 선택이 가능하도록 한다.
• Microsoft Mantri의 기반 구조를 확장하여, 무거운 부하 상황에서의 작업 완료 시간을 향상시키는 향상된 사전 실행(Enhanced Speculative Execution, ESE) 알고리즘을 제안한다.
• Pareto 분포를 따르는 작업 지속 시간을 사용하여 확률적 모델링과 시뮬레이션을 수행하여 다양한 시스템 파라미터 하에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 가벼운 부하가 가해진 MapReduce 유사 클러스터에서, 자원 소비를 최소화하면서 작업 유틸리티를 최대화하는 최적의 사전 실행 전략은 무엇인가?
• RQ2 가벼운 부하가 가해진 클러스터에서 스트래글러 감지를 어떻게 최적화하여 자원 소비를 최소화할 수 있는가?
• RQ3 가벼운 부하와 무거운 부하 클러스터 운영 제도를 분리하는 이론적 워크로드 임계값은 무엇인가?
• RQ4 무거운 부하 상황에서 사전 실행을 어떻게 향상시켜 자원 소비를 늘리지 않고도 작업 플로우타임을 줄일 수 있는가?
• RQ5 최적화 기반 전략은 Microsoft Mantri와 같은 히ュ리스틱 기반 접근 방식보다 작업 완료 시간과 자원 효율성 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• SCA 및 SDA 알고리즘은 가벼운 부하 상황에서 Microsoft Mantri의 사전 실행 전략 대비 작업 플로우타임을 거의 60% 감소시킨다.
• ESE 알고리즘은 무거운 부하 상황에서 Microsoft Mantri의 기준 대비 작업 플로우타임을 18% 감소시키며, 동일한 자원 소비를 유지한다.
• 논문에서 유도한 워크로드 임계값은 가벼운 부하와 무거운 부하 클러스터 운영 제도를 효과적으로 분리하며, 적절한 전략 선택을 가능하게 한다.
• 단일 작업 시나리오에서는 자원 소비와 플로우타임 측면에서 최적의 성능를 달성할 수 있으며, 이는 α = 2인 Pareto 분포에서 형상 매개변수 σi ≈ 1.7일 때 성립한다.
• 무거운 부하 상황에 적용했을 때 SCA 및 SDA는 자원 경쟁과 스케줄링 지연로 인해 성능이 떨어지며, 제도별 전략이 필요함을 확인한다.
• 시뮬레이션 결과는 ESE 알고리즘이 고도착률 시나리오에서 Mantri를 뚜렷이 능가함을 확인하며, 80%의 작업이 10 시간 단위 이내에 완료되는 반면 기준 방법은 18 시간 단위에 머무른다.