[논문 리뷰] Improving the Load Balance of MapReduce Operations based on the Key Distribution of Pairs

Liya Fan, Bo Gao외 3명|arXiv (Cornell University)|2014. 01. 02.

Cloud Computing and Resource Management참고 문헌 26인용 수 8

한 줄 요약

이 논문은 중간 키-값 쌍의 키 분포를 분석함으로써 로드 밸런싱을 향상시키는 MapReduce를 위한 미세한 스케줄링 알고리즘을 제안한다. 작업 할당을 균형 잡힌 부분합(Balanced Subset Sum, BSS) 문제로 공식화하고 정확한 및 근사 알고리즘을 사용함으로써, PUMA 벤치마크에서 작업 소요 시간을 최대 37% 감소시켰으며, 동적 워크로드 적응 및 파이프라인 메커니즘을 통한 자원 활용도 향상으로 인해 표준 MapReduce를 뛰어넘는 성능을 달성한다.

ABSTRACT

Load balance is important for MapReduce to reduce job duration, increase parallel efficiency, etc. Previous work focuses on coarse-grained scheduling. This study concerns fine-grained scheduling on MapReduce operations. Each operation represents one invocation of the Map or Reduce function. Scheduling MapReduce operations is difficult due to highly screwed operation loads, no support to collect workload statistics, and high complexity of the scheduling problem. So current implementations adopt simple strategies, leading to poor load balance. To address these difficulties, we design an algorithm to schedule operations based on the key distribution of intermediate pairs. The algorithm involves a sub-program for selecting operations for task slots, and we name it the Balanced Subset Sum (BSS) problem. We discuss properties of BSS and design exact and approximation algorithms for it. To transparently incorporate these algorithms into MapReduce, we design a communication mechanism to collect statistics, and a pipeline within Reduce tasks to increase resource utilization. To the best of our knowledge, this is the first work on scheduling MapReduce workload at this fine-grained level. Experiments on PUMA [T+12] benchmarks show consistent performance improvement. The job duration can be reduced by up to 37%, compared with standard MapReduce.

연구 동기 및 목표

• 미세한 스케줄링과 불균형한 작업 워크로드로 인한 MapReduce의 열악한 로드 밸런싱 문제를 해결하기 위해.
• 중간 키 분포를 기반으로 개별 Map 및 Reduce 함수 호출에 대한 미세한 스케줄링을 가능하게 하기 위해.
• MapReduce 내에서 런타임 워크로드 통계를 투명하게 수집하기 위한 통신 메커니즘을 설계하기 위해.
• Reduce 작업 내부의 파이프라인을 통해 자원 활용도를 극대화하기 위해.
• 함수 호출 수준의 운영을 미세하게 스케줄링하는 체계적인 접근 방식을 처음으로 제공하기 위해.

제안 방법

• 작업 스케줄링 문제를 작업 슬롯 간 워크로드 균형을 맞추기 위해 균형 잡힌 부분합(Balanced Subset Sum, BSS) 문제로 공식화하기 위해.
• 고복잡도 제약 조건 하에서 BSS 문제를 효율적으로 해결하기 위해 정확한 알고리즘과 근사 알고리즘을 모두 설계하기 위해.
• 핵심 MapReduce 프레임워크를 수정하지 않고도 중간 키 분포 통계를 수집하기 위한 경량 통신 메커니즘을 구현하기 위해.
• 계산과 데이터 전송을 겹치기 위해 Reduce 작업 내부에 파이프라인을 도입하여 자원 활용도를 향상시키기 위해.
• 제안된 알고리즘과 메커니즘을 기존 MapReduce 아키텍처에 투명하게 통합하기 위해.
• 키 빈도와 분포 패턴을 활용해 작업 슬롯에 운영을 동적으로 할당하여 로드 밸런싱을 유도하기 위해.

실험 결과

연구 질문

• RQ1 MapReduce 운영의 미세한 스케줄링은 굵은 스케줄링 대비 로드 밸런싱을 어떻게 향상시킬 수 있는가?
• RQ2 중간 키 분포를 기반으로 작업 슬롯 간 워크로드 균형을 이루기 위한 효과적인 공식화는 무엇인가?
• RQ3 균형 잡힌 부분합(Balanced Subset Sum, BSS) 문제는 분산 환경에서 실용적으로 충분히 효율적으로 해결될 수 있는가?
• RQ4 MapReduce에서 런타임 워크로드 통계를 상당한 오버헤드 없이 투명하게 수집할 수 있는가?
• RQ5 Reduce 작업 내부의 파이프라인 실행은 자원 활용도와 작업 완료 시간을 어느 정도 향상시킬 수 있는가?

주요 결과

• 제안된 스케줄링 알고리즘이 PUMA 벤치마크에서 표준 MapReduce 대비 작업 소요 시간을 최대 37% 감소시켰다.
• 균형 잡힌 부분합(Balanced Subset Sum, BSS) 공식화를 통해 키 빈도와 분포에 기반한 운영 분배를 통해 효과적인 로드 밸런싱이 가능해졌다.
• BSS에 대한 근사 알고리즘은 계산 비용을 크게 줄였음에도 불구하고 근사 최적 성능을 달성한다.
• 키 분포 통계 수집을 위한 통신 메커니즘은 투명하게 작동하며 최소한의 오버헤드를 유발한다.
• Reduce 작업 내부의 파이프라인 통합으로 자원 활용도가 향상되었으며, 이는 성능 향상에 기여했다.
• 다양한 워크로드에 걸쳐 일관된 성능 향상이 달성되어, 이 접근 방식의 강건성과 확장성을 입증했다.