[논문 리뷰] Diversity/Parallelism Trade-off in Distributed Systems with Redundancy

Pei Peng, Emina Soljanin외 1명|arXiv (Cornell University)|2020. 10. 05.

Distributed and Parallel Computing Systems참고 문헌 69인용 수 5

한 줄 요약

이 논문은 제한된 서버를 가진 분산 시스템에서 부서지기 쉬운 복제와 병렬 처리의 상호 상충 관계를 분석하며, 예상 작업 완료 시간을 최소화하는 최적 전략을 제안한다. 다양한 서비스 시간 분포(에르랑, 파레토, 이중모드) 하에서 예상 완료 시간에 대한 폐쇄형 표현식을 유도하며, 최적의 복제 수준과 코드 레이트가 분포에 따라 크게 달라지며, 성능 최적화를 위해 각각의 시스템 설계가 맞춤형으로 필요하다는 것을 보여준다.

ABSTRACT

As numerous machine learning and other algorithms increase in complexity and data requirements, distributed computing becomes necessary to satisfy the growing computational and storage demands, because it enables parallel execution of smaller tasks that make up a large computing job. However, random fluctuations in task service times lead to straggling tasks with long execution times. Redundancy, in the form of task replication and erasure coding, provides diversity that allows a job to be completed when only a subset of redundant tasks is executed, thus removing the dependency on the straggling tasks. In situations of constrained resources (here a fixed number of parallel servers), increasing redundancy reduces the available resources for parallelism. In this paper, we characterize the diversity vs. parallelism trade-off and identify the optimal strategy, among replication, coding and splitting, which minimizes the expected job completion time. We consider three common service time distributions and establish three models that describe scaling of these distributions with the task size. We find that different distributions with different scaling models operate optimally at different levels of redundancy, and thus may require very different code rates.

연구 동기 및 목표

• 자원 제약이 있는 분산 시스템에서 다양성(복제)과 병렬 처리의 기본적인 상호 상충 관계를 규명하는 것.
• 고정된 서버 수 제약 하에서 예상 작업 완료 시간을 최소화하는 최적의 복제 수준(즉, 코드 레이트)을 규명하는 것.
• 작업 크기와 함께 서비스 시간 분포가 어떻게 변화하는지 모델링하여 시스템 성능를 정확히 예측할 수 있도록 하는 것.
• 다양한 통계적 서비스 시간 모델 하에서 복제, 코딩, 분할 전략을 비교하는 것.

제안 방법

• 에르랑, 파레토, 이중모드의 세 가지 서비스 시간 분포 하에서, 동일하게 분포된(i.i.d.) 랜덤 변수로 표현되는 작업 완료 시간의 k번째 순서통계량에 대한 정확한 및 근사적인 표현식을 유도한다.
• 순서통계량 이론을 적용하여, n개의 작업 중 k개 이상가 완료되면 작업이 완료되는 경우의 예상 완료 시간을 계산한다.
• 파레토 모델에서 감마 함수 비율의 점근적 근사를 도출하기 위해 스타링의 근사법과 고츠키의 부등식을 적용한다.
• 이중모드 분포 케이스를 분석하기 위해 일반화된 생일 문제 프레임워크를 도입하여, d개의 서로 다른 쿠폰을 수집하는 데 걸리는 예상 시간을 모델링한다.
• 에르랑 모델에서 생성함수 전개의 계수를 계산하기 위한 재귀적 방법을 개발하여, 예상 완료 시간을 효율적으로 계산할 수 있도록 한다.
• 다양한 작업 크기 스케일링 모델과 시스템 파라미터에서 분석 결과의 타당성을 수치적 평가를 통해 검증한다.

실험 결과

연구 질문

• RQ1 고정된 수의 서버를 가진 분산 시스템에서 예상 작업 완료 시간을 최소화하는 데 최적의 복제 수준(즉, 중복 작업 수)은 무엇인가?
• RQ2 에르랑, 파레토, 이중모드의 다양한 서비스 시간 분포는 다양성과 병렬 처리의 최적 균형에 어떻게 영향을 미치는가?
• RQ3 서비스 시간이 작업 크기와 함께 어떻게 스케일링되는가에 따라 최적의 코드 레이트와 시스템 성능는 어떻게 변화하는가?
• RQ4 다양한 서비스 시간 모델 하에서 예상 완료 시간에 대해 폐쇄형 또는 다루기 쉬운 근사식을 도출할 수 있는가?
• RQ5 기본 서비스 시간 분포와 작업 크기 스케일링에 따라 복제 전략(복제 대 에러 복구 코드)의 선택은 어떻게 달라지는가?

주요 결과

• 최적의 복제 수준은 서비스 시간 분포에 따라 크게 달라지며, 파레토 분포의 경우 높은 복제를 선호하고, 에르랑 분포의 경우 중간 정도의 복제가 가장 우수한 성능를 보인다.
• 파레토 분포의 경우, 큰 n에 대해 예상 완료 시간이 약 n^{1 - 1/α} 비례로 스케일링되며, 이는 꼬리가 두꺼운 서비스 시간이 복제로 인해 유리함을 시사한다.
• 이중모드 서비스 모델에서는 작업이 빠르거나 매우 느린 경우가 있으며, 최적 전략은 느린 작업자 발생 확률과 작업 크기에 따라 달라지며, 느린 작업자가 자주 발생할 경우 높은 복제를 선호한다.
• 에르랑 모델은 순서통계량과 생성함수를 이용해 예상 완료 시간에 대한 폐쇄형 표현식을 도출하여 정확한 성능 평가가 가능하다.
• 일반화된 생일 문제 근사는 d개의 서로 다른 결과를 수집하는 데 걸리는 예상 시간에 대해 정확한 점근적 추정치를 제공하며, 이는 이중모드 케이스 분석에 핵심적이다.
• 이 연구는 일률적인 복제 전략이 비효율적임을 입증하며, 최적의 코드 레이트는 특정 서비스 시간 분포와 작업 크기 스케일링 행동에 맞게 맞춤형으로 설정되어야 한다.