[논문 리뷰] A Unified Coding Framework for Distributed Computing with Straggling Servers

Songze Li, Mohammad Ali Maddah-Ali외 1명|arXiv (Cornell University)|2016. 09. 06.

Caching and Content Delivery참고 문헌 10인용 수 17

한 줄 요약

이 논문은 스트래글링 서버가 존재하는 환경에서 계산 지연과 통신 부하 사이의 트레이드오프를 고려한 통합된 코드화 프레임워크를 제안한다. 기존의 방법들—최소 대역폭 코드(통신을 최소화하기 위해)와 최소 지연 코드(계산 지연을 최소화하기 위해)—를 일반화함으로써, 이 프레임워크는 지연-부하 트레이드오프의 어느 지점에서나 체계적으로 작동할 수 있으며, 극단에서 정보이론적 하한선에 대해 일정 요인 이내의 성능을 달성한다.

ABSTRACT

We propose a unified coded framework for distributed computing with straggling servers, by introducing a tradeoff between "latency of computation" and "load of communication" for some linear computation tasks. We show that the coded scheme of [1]-[3] that repeats the intermediate computations to create coded multicasting opportunities to reduce communication load, and the coded scheme of [4], [5] that generates redundant intermediate computations to combat against straggling servers can be viewed as special instances of the proposed framework, by considering two extremes of this tradeoff: minimizing either the load of communication or the latency of computation individually. Furthermore, the latency-load tradeoff achieved by the proposed coded framework allows to systematically operate at any point on that tradeoff to perform distributed computing tasks. We also prove an information-theoretic lower bound on the latency-load tradeoff, which is shown to be within a constant multiplicative gap from the achieved tradeoff at the two end points.

연구 동기 및 목표

• 스트래글링 서버 문제를 해결하기 위해 기존의 두 가지 코드화 접근법을 통합함으로써 분산 행렬 곱셈에서의 도전 과제를 해결한다.
• 맵 단계에서의 계산 지연과 셔플 단계에서의 통신 부하 사이의 트레이드오프를 체계적으로 정의한다.
• 지연-부하 트레이드오프의 어느 지점에서나 체계적으로 작동하는 단일 코드화 프레임워크를 설계한다.
• 통신 부하에 대한 정보이론적 하한선을 증명하고, 제안된 방법이 양 극단에서 이 하한선에 대해 일정 요인 이내에 도달함을 보여준다.
• 이전의 방법들인 최소 대역폭 코드와 최소 지연 코드를 제안된 프레임워크의 특수 케이스로 일반화한다.

제안 방법

• 통신 부하 최소화와 계산 지연 최소화의 두 극단 사이를 보간하는 통합된 코드화 프레임워크를 도입한다.
• 다중 출력 할당을 포함한 복합 설정을 사용하여 통신 부하에 대한 컷셋 한계를 유도한다.
• 다양한 서버 하위집합에 걸쳐 컷셋 한계를 적용하여 최소 달성 가능한 통신 부하에 대한 하한을 도출한다.
• 중간 계산에서의 부가 정보량을 조절함으로써 지연과 부하 사이의 트레이드오프를 달성하는 코드화 방법을 구성한다.
• MDS 코드와 코드화 다중방송을 활용하여 스트래글러 대비 및 통신 효율성 문제를 동시에 해결한다.
• 제안된 방법이 트레이드오프의 두 극단에서 하한선에 대해 일정 요인 이내의 곱셈 갭을 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 기존의 분산 행렬 곱셈을 위한 코드화 기법들이 통신 부하와 계산 지연을 균형 잡는 단일 프레임워크 아래 통합될 수 있는가?
• RQ2 스트래글링 서버가 존재하는 분산 행렬 곱셈에서 계산 지연과 통신 부하 사이의 근본적인 트레이드오프는 무엇인가?
• RQ3 주어진 계산 지연에 대해 통신 부하에 대한 정보이론적 하한선에 얼마나 가까이 접근할 수 있는가?
• RQ4 최소 대역폭 코드와 최소 지연 코드는 더 일반적인 프레임워크의 특수 케이스로 간주될 수 있는가?
• RQ5 지연-부하 트레이드오프 전반에 걸쳐 제안된 방법과 정보이론적 하한선 사이의 성능 갭은 얼마인가?

주요 결과

• 제안된 프레임워크는 지연-부하 트레이드오프의 두 극단에서 최소 대역폭 코드와 최소 지연 코드를 특수 케이스로 일반화한다.
• 프레임워크는 트레이드오프의 어느 지점에서나 체계적으로 작동할 수 있어, 시스템 제약 조건에 따라 탄력적인 최적화가 가능하다.
• 복합 설정과 컷셋 추론을 활용하여 통신 부하에 대한 정보이론적 하한선을 도출한다.
• 제안된 방법은 하한선에 대해 최대 $3 + \frac{4}{\frac{1}{\nu}-2}$의 상수 곱셈 갭을 가지며, $\frac{1}{\nu} > 3 + \sqrt{5}$일 경우 이 값은 $3 + \bar{5}$로 유계가 된다.
• 모든 $K$대의 서버가 맵 단계를 완료할 때($q = K$), 제안된 방법의 통신 부하는 하한선에 대해 $3 + \bar{5}$의 요인 이내에 머무른다.
• 프레임워크는 스트래글러 행동의 변화에 뛰어나게 강건하며, 맵 단계를 완료할 것으로 예상되는 서버 수에 따라 트레이드오프를 적응적으로 조정할 수 있다.