[논문 리뷰] Efficient Replication for Straggler Mitigation in Distributed Computing

Amir Behrouzi-Far, Emina Soljanin|arXiv (Cornell University)|2020. 06. 03.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 11

한 줄 요약

이 논문은 스트래글러 효과를 완화하기 위해 마스터-워커 분산 시스템에서 최적화된 작업 복제 전략을 제안한다. 균형 잡힌, 겹치지 않는 배치 할당과 주요화 이론을 활용하여 평균 작업 계산 시간을 최소화하고, 다양한 서비스 시간 분포에 대해 최적의 부복수준을 도출한다. 이는 평균 지연 시간을 줄이는 것과 예측 가능성 향상 사이의 상충 관계를 드러낸다.

ABSTRACT

Master-worker distributed computing systems use task replication in order to mitigate the effect of slow workers, known as stragglers. Tasks are grouped into batches and assigned to one or more workers for execution. We first consider the case when the batches do not overlap and, using the results from majorization theory, show that, for a general class of workers' service time distributions, a balanced assignment of batches to workers minimizes the average job compute time. We next show that this balanced assignment of non-overlapping batches achieves lower average job compute time compared to the overlapping schemes proposed in the literature. Furthermore, we derive the optimum redundancy level as a function of the service time distribution at workers. We show that the redundancy level that minimizes average job compute time is not necessarily the same as the redundancy level that maximizes the predictability of job compute time, and thus there exists a trade-off between optimizing the two metrics. Finally, by running experiments on Google cluster traces, we observe that redundancy can reduce the compute time of the jobs in Google clusters by an order of magnitude, and that the optimum level of redundancy depends on the distribution of tasks' service time.

연구 동기 및 목표

• 마스터-워커 분산 컴퓨팅 시스템에서 스트래글러로 인한 지연 문제를 해결한다.
• 고정된 부복 예산 하에서 평균 작업 계산 시간을 최소화하는 최적의 작업 할당 전략을 규명한다.
• 다양한 워커 서비스 시간 분포에 대해 평균 작업 계산 시간을 최소화하는 최적의 부복 수준을 결정한다.
• 계산 시간의 예측 가능성 평가를 위해 계산 시간의 변동계수(CoV)를 사용하여 평균 지연 시간 최소화와의 상충 관계를 분석한다.
• 실제 Google 클러스터 트레이스에서의 작업 런타임 데이터를 활용하여 이론적 결과를 검증한다.

제안 방법

• 배치 계산 시간이 워커 수에 대해 확률적으로 감소하고 볼록함을 만족할 경우, 주요화 이론을 적용하여 균형 잡힌, 겹치지 않는 배치 할당이 평균 작업 계산 시간을 최소화함을 증명한다.
• 일반적인 분포(예: 지수 분포 및 무거운 尾 분포, 예: 파레토 분포)를 사용하여 워커 서비스 시간을 모델링하여 부복의 효과를 분석한다.
• 배치 계산 시간의 CCDF를 분석하여 평균 작업 계산 시간을 최소화하는 최적의 부복 수준을 유도한다.
• 예측 가능성 평가를 위해 작업 계산 시간의 변동계수(CoV)를 지표로 사용하여 평균 지연 시간 최소화와의 비교를 가능하게 한다.
• Google 클러스터 트레이스에서 실험을 수행하여 작업 서비스 시간을 추출하고, 다양한 배치 수에서 부복 작업 할당을 시뮬레이션한다.
• 다양한 부복 수준 간의 평균 작업 계산 시간을 정규화하여 지수 분포 및 무거운 尾 분포 서비스 시간을 가진 작업 간 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 균형 잡힌, 겹치지 않는 배치 할당이 동일한 수의 스트래글러를 견딜 수 있는 경우, 평균 작업 계산 시간 최소화에서 오버랩 또는 비균형 전략보다 우월한가?
• RQ2 다양한 워커 서비스 시간 분포에 대해 평균 작업 계산 시간을 최소화하는 최적의 부복 수준은 무엇인가?
• RQ3 평균 작업 계산 시간을 최소화하는 부복 수준이 계산 시간의 예측 가능성(즉, CoV 최소화)을 극대화하는 데에도 동일한가?
• RQ4 서비스 시간 분포의 형태(지수 분포 대 무거운 尾 분포)가 최적의 부복 수준에 어떤 영향을 미치는가?
• RQ5 실제 분산 시스템에서 부복 작업 할당이 작업 계산 시간을 얼마나 줄일 수 있는가? Google 클러스터 트레이스에서 관찰된 결과는 어떠한가?

주요 결과

• 균형 잡힌, 겹치지 않는 배치 할당은 오버랩 또는 비균형 전략보다 평균 작업 계산 시간이 낮으며, 이는 동일한 수의 스트래글러를 견딜 수 있을 때에도 성립한다.
• 지수 분포 서비스 시간의 경우 이론적으로 예측한 바와 같이, 완전한 병렬 처리(즉, 워커당 하나의 작업)가 평균 작업 계산 시간을 최소화한다.
• 무거운 尾 분포 서비스 시간의 경우 최적의 부복 수준은 완전한 병렬 처리와 완전한 다각화 사이에 위치하며, 최적의 배치 수(B)는 작업에 따라 달라진다. 예를 들어, 작업 6, 8, 9, 10의 경우 B=20, 작업 5의 경우 B=50이다.
• 최적의 부복 수준은 무거운 尾 분포의 형태 파라미터에 따라 달라지며, 더 빨리 감소하는 尾(높은 형태 파라미터)일수록 낮은 부복 수준이 필요하다.
• 실제 Google 클러스터 워크로드에서 부복은 평균 작업 계산 시간을 최대 한 계단 수준까지 줄일 수 있으며, 특히 무거운 尾 서비스 시간을 가진 작업에서 두드러진다.
• 평균 작업 계산 시간 최소화와 계산 시간의 변동계수(CoV) 최소화 사이에 근본적인 상충 관계가 존재하므로, 동일한 부복 수준으로 두 지표를 동시에 최적화할 수 없다.