[논문 리뷰] Using Straggler Replication to Reduce Latency in Large-scale Parallel Computing (Extended Version).

Da Wang, Gauri Joshi외 1명|arXiv (Cornell University)|2015. 03. 11.

Cloud Computing and Resource Management참고 문헌 15인용 수 5

한 줄 요약

이 논문은 대규모 병렬 컴퓨팅에서 작업 완료 지연을 줄이기 위해 스트래글러 작업 복제를 사용하는 것을 제안한다. 이는 실행 시간 분포의 꼬리 부분을 대상으로 하여, 극단가치이론과 휴리스틱 최적화 알고리즘을 적용함으로써, 비용 증가를 최소화하면서 지연을 크게 감소시키는 복제 전략을 식별한다. 이는 Google Trace 데이터에서 MapReduce의 기본 전략보다 뛰어난 성능을 보인다.

ABSTRACT

Users expect fast and fluid response from today's cloud infrastructure. Large-scale computing frameworks such as MapReduce divide jobs into many parallel tasks and execute them on different machines to enable faster processing. But the tasks on the slowest machines (straggling tasks) become the bottleneck in the completion of the job. One way to combat the variability in machine response time, is to add replicas of straggling tasks and wait for one copy to finish. In this paper we analyze how task replication strategies can be used to reduce latency, and their impact on the cost of computing resources. We use extreme value theory to show that the tail of the execution time distribution is the key factor in characterizing the trade-off between latency and computing cost. From this trade-off we can determine which task replication strategies reduce latency, without a large increase in computing cost. We also propose a heuristic algorithm to search for the best replication strategies when it is difficult to fit a simple distribution to model the empirical behavior of task execution time, and use the proposed analysis techniques. Evaluation of the heuristic policies on Google Trace data shows a significant latency reduction compared to the replication strategy used in MapReduce.

연구 동기 및 목표

• 대규모 병렬 시스템에서 스트래글러 작업이 작업 완료를 지연시키는 문제를 해결하기 위해.
• 작업 복제 전략이 지연과 계산 비용 간의 트레이드오프에 미치는 영향를 분석하기 위해.
• 작업 실행 시간이 단순한 통계 분포에 맞지 않을 경우 최적의 복제 전략을 식별하는 방법을 개발하기 위해.
• 실제 Google Trace 데이터를 사용하여 제안된 전략의 효과성을 평가하기 위해.

제안 방법

• 논문은 작업 완료 지연을 결정하는 실행 시간 분포의 꼬리 부분을 모델링하기 위해 극단가치이론을 적용한다.
• 작업 완료 시간의 극단가치 분포를 기반으로 비용-지연 트레이드오프 모델을 수립한다.
• 실험적 작업 시간이 단순한 비모수적 분포에 맞지 않을 경우 최적의 복제 전략을 탐색하기 위해 휴리스틱 알고리즘을 제안한다.
• 복제 정책의 영향을 작업 완료 시간과 자원 비용에 미치는 영향을 추정함으로써 복제 정책을 평가한다.
• 모델의 校정과 검증을 위해 Google Trace의 실제 실행 시간 데이터를 사용한다.

실험 결과

연구 질문

• RQ1 작업 실행 시간 분포의 꼬리 부분이 대규모 시스템에서 작업 완료 지연에 어떤 영향을 미치는가?
• RQ2 지연을 최소화하면서 계산 비용을 낮추는 데 최적의 복제 전략은 무엇인가?
• RQ3 작업 실행 시간이 단순한 통계 분포를 따르지 않을 경우 최적의 복제 정책은 어떻게 식별할 수 있는가?
• RQ4 복제를 통해 MapReduce의 기본 전략에 비해 지연을 얼마나 줄일 수 있는가?

주요 결과

• 실행 시간 분포의 꼬리 부분이 작업 완료 지연을 결정하는 주요 요인로 작용하므로, 최적화에 매우 중요하다.
• 극단가치이론에서 유도된 복제 전략은 자원 비용 증가를 최소화하면서 지연을 효과적으로 감소시킨다.
• 제안된 휴리스틱 알고리즘은 작업 시간이 단순한 분포에 맞지 않을 경우에도 높은 성능을 보이는 복제 정책을 성공적으로 식별한다.
• Google Trace 데이터를 활용한 평가 결과, MapReduce의 기본 복제 전략에 비해 지연이 크게 감소함을 확인했다.