[논문 리뷰] How to Optimally Allocate Resources for Coded Distributed Computing?

Qian Yu, Songze Li외 2명|arXiv (Cornell University)|2017. 02. 23.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 9

한 줄 요약

이 논문은 MapReduce 프레임워크에서 인코딩된 분산 계산을 위한 최적의 자원 할당 전략을 제안하며, 서버 수, 작업 배치, 그리고 인코딩된 셰플링 기법을 동시에 최적화하여 총 실행 시간을 최소화한다. Q + ⌈Q/r*⌉ 대신 서버를 사용할 경우 실행 시간을 최소화할 수 있음을 증명하며, r*는 계산 부하와 통신 부하를 균형 있게 맞추기 위해 선택된다.

ABSTRACT

Today's data centers have an abundance of computing resources, hosting server clusters consisting of as many as tens or hundreds of thousands of machines. To execute a complex computing task over a data center, it is natural to distribute computations across many nodes to take advantage of parallel processing. However, as we allocate more and more computing resources to a computation task and further distribute the computations, large amounts of (partially) computed data must be moved between consecutive stages of computation tasks among the nodes, hence the communication load can become the bottleneck. In this paper, we study the optimal allocation of computing resources in distributed computing, in order to minimize the total execution time in distributed computing accounting for both the duration of computation and communication phases. In particular, we consider a general MapReduce-type distributed computing framework, in which the computation is decomposed into three stages: \emph{Map}, \emph{Shuffle}, and \emph{Reduce}. We focus on a recently proposed \emph{Coded Distributed Computing} approach for MapReduce and study the optimal allocation of computing resources in this framework. For all values of problem parameters, we characterize the optimal number of servers that should be used for distributed processing, provide the optimal placements of the Map and Reduce tasks, and propose an optimal coded data shuffling scheme, in order to minimize the total execution time. To prove the optimality of the proposed scheme, we first derive a matching information-theoretic converse on the execution time, then we prove that among all possible resource allocation schemes that achieve the minimum execution time, our proposed scheme uses the exactly minimum possible number of servers.

연구 동기 및 목표

• 수천 개의 노드를 가진 대규모 분산 계산 시스템에서 통신 부하의 성능 저하 문제를 해결하기 위해.
• 인코딩된 분산 계산 프레임워크에서 Map, Shuffle, Reduce 단계에 걸쳐 계산 자원을 최적 할당하여 총 실행 시간을 최소화하기 위해.
• 최소 실행 시간을 달성하기 위한 최적의 서버 수, 작업 배치 전략, 그리고 인코딩된 셰플링 기법을 결정하기 위해.
• 이론적 역경계를 수립하고, 제안된 방법이 정보 이론적 최소 실행 시간을 달성함을 증명하기 위해.
• 순차적 및 병렬 실행 모델을 비교하고, 둘 다에 대해 최적의 자원 할당을 도출하기 위해.

제안 방법

• Q개의 '솔버' 노드와 ⌈Q/r*⌉개의 '헬퍼' 노드로 구성된 이중 그룹 서버 아키텍처를 제안하며, 이는 Reduce 작업을 처리하고 Map 작업의 부가 계산을 통해 인코딩 이득을 얻기 위함이다.
• 중간 값이 헬퍼 노드에 캐시되고 상호 간에 인코딩되는 인코딩된 데이터 셰플링 기법을 사용하여 통신 부하를 r* 배 감소시킨다.
• 제안된 방법의 최적성을 입증하기 위해 실행 시간에 대한 정보 이론적 역경계를 유도한다.
• 계산과 통신 부하를 균형 있게 맞추기 위해 r*라는 매개변수를 도입하며, 이는 총 실행 시간을 최소화하도록 선택된다.
• 순차적 및 병렬 실행 모델을 분석하여, 병렬 모델에서 최대(T_map, T_shuffle) + T_reduce 를 최소화함을 보여주며, 통신 및 계산 단계가 균형을 이루도록 한다.
• 조합 최적화와 엔트로피 기반 분석을 활용하여 데이터 의존성을 모델링하고 통신 부하의 하한을 도출한다.

실험 결과

연구 질문

• RQ1 총 실행 시간을 최소화하기 위해 인코딩된 분산 계산 시스템에서 최적의 서버 수는 얼마인가?
• RQ2 Map 및 Reduce 작업은 서버에 어떻게 최적으로 할당되어야 하며, 통신 및 계산 병목 현상을 최소화할 수 있는가?
• RQ3 통신 부하를 최소화하면서도 계산 가능성을 유지하는 최적의 인코딩된 셰플링 기법은 무엇인가?
• RQ4 복제 인자 r*의 선택은 분산 MapReduce 작업에서 계산과 통신 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 제안된 방법은 순차적 및 병렬 실행 모델 모두에서 정보 이론적 하한 실행 시간을 달성할 수 있는가?

주요 결과

• 최적의 서버 수는 정확히 Q + ⌈Q/r*⌉이며, 여기서 Q는 출력 함수의 수이고 r*는 최적의 복제 인자이다.
• 제안된 방법은 통신 부하에 대한 날카로운 역경계를 통해 정보 이론적 최소 실행 시간을 달성한다.
• 최적의 복제 인자 r*는 계산과 통신을 균형 있게 맞추기 위해 유도되며, 순차 모드에서 T_map + T_shuffle + T_reduce 의 합을 최소화한다.
• 병렬 모델에서는 통신 및 계산 단계가 균형을 이루도록 하여, 최대(T_map, T_shuffle) + T_reduce 를 최소화한다.
• 인코딩된 셰플링 기법은 통신 부하를 r* 배 감소시켜, 비인코딩 기법 대비 데이터 셰플링 속도 향상에 기여한다.
• 분석을 통해 제안된 방법 이외의 다른 자원 할당 전략은 더 낮은 실행 시간을 달성할 수 없음을 입증하며, 이는 최적성의 확립을 의미한다.