[논문 리뷰] A New Combinatorial Design of Coded Distributed Computing

Nicholas Woolsey, Rong‐Rong Chen외 1명|arXiv (Cornell University)|2018. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 3

한 줄 요약

이 논문은 이전 연구에 비해 요구되는 입력 파일 수와 Map 함수 수를 크게 줄이는 하이퍼큐브 조합 설계 기반의 새로운 코딩된 분산 계산 기법을 제안한다. 구조화된 파일 배치와 코딩된 멀티캐스팅을 활용하여, 통신 부하를 다수 배로 줄이는 동시에, 특정 조건 하에서 근사 최적 성능과 점점 최적에 수렴하는 성능을 유지도한다.

ABSTRACT

Coded distributed computing introduced by Li et al. in 2015 is an efficient approach to trade computing power to reduce the communication load in general distributed computing frameworks such as MapReduce. In particular, Li et al. show that increasing the computation load in the Map phase by a factor of $r$ can create coded multicasting opportunities to reduce the communication load in the Reduce phase by the same factor. However, there are two major limitations in practice. First, it requires an exponentially large number of input files (data batches) when the number of computing nodes gets large. Second, it forces every $s$ computing nodes to compute one Map function, which leads to a large number of Map functions required to achieve the promised gain. In this paper, we make an attempt to overcome these two limitations by proposing a novel coded distributed computing approach based on a combinatorial design. We demonstrate that when the number of computing nodes becomes large, 1) the proposed approach requires an exponentially less number of input files; 2) the required number of Map functions is also reduced exponentially. Meanwhile, the resulting computation-communication trade-off maintains the multiplicative gain compared to conventional uncoded unicast and achieves the information theoretic lower bound asymmetrically for some system parameters.

연구 동기 및 목표

• 노드 수가 증가함에 따라 기존 코딩된 분산 계산 기법에서 발생하는 입력 파일과 Map 함수의 지수적 증가를 해결하기 위해.
• 동일한 계산-통신 트레이드오프 이득을 달성하기 위해 필요한 입력 파일과 Map 함수 수를 줄이기 위해.
• 비코딩된 유니캐스트 대비 통신 부하의 곱셈적 감소를 유지하기 위해.
• 특정 매개변수 영역, 예를 들어 s=1 및 s=2일 때 정보이론적 최적성을 점점 도달하기 위해.
• 성능을 유지하면서도 시스템 자원을 크게 줄이는 확장 가능한 기법을 설계하기 위해.

제안 방법

• 기법은 하이퍼큐브 기반의 조합 설계를 사용하여 노드 간 파일 배치를 구조화함으로써, 여러 노드에서 필요로 하는 중간 값이 여러 위치에서 로컬로 가용하도록 보장한다.
• 각 노드는 할당된 출력 함수에 필요한 중간 값들(즉, Map 함수들)만 계산하여 중복 계산을 방지한다.
• 코딩된 멀티캐스팅을 통해 통신 부하를 최소화하며, 각 노드는 다른 노드의 요청을 충족시키기 위해 로컬로 계산된 패킷의 무작위 선형 조합을 전송한다.
• 노드 수 K = xd, 파일 수 N = η₁x^d, 함수 수 Q = η₂xd를 정의하기 위해 매개변수 x, d, 그리고 η₁, η₂를 사용하여 기법을 수식화한다.
• 조합 수식을 사용하여 이항계수와 x의 거듭제곱을 포함하는 표현식을 통해 계산 부하 r_hc와 통신 부하 L_hc를 유도한다.
• 각 중간 값이 s개의 노드에서 요청되고 r개의 노드에서 계산될 수 있도록 설계되어 있어, 효율적인 코딩 전송이 가능하다.

실험 결과

연구 질문

• RQ1 노드 수가 증가함에 따라 요구되는 입력 파일과 Map 함수의 지수적 증가를 줄일 수 있는 코딩된 분산 계산 기법을 설계할 수 있는가?
• RQ2 제안된 기법이 비코딩된 유니캐스트 대비 통신 부하 감소에 곱셈적 이득을 유지하는가?
• RQ3 특정 시스템 매개변수, 예를 들어 s=1 또는 s=2일 때 기법이 정보이론적 최적성을 달성할 수 있는가?
• RQ4 제안된 기법과 이전 연구 대비 시스템 크기에 따라 필요한 파일 수와 기능 수가 어떻게 척도화되는가?
• RQ5 제안된 하이퍼큐브 기반 기법에서 계산 부하와 통신 부하 사이의 트레이드오프는 어떠한가?

주요 결과

• 제안된 기법은 요구되는 입력 파일 수 N을 Κ choose r 에서 (K/r)^r 으로 줄여, 큰 r에 대해 파일 요구량을 지수적으로 감소시킨다.
• 필요한 Map 함수 수는 Κ choose s 에서 (K/s)^s 으로 줄어들어, s가 증가함에 따라 지수적으로 감소한다.
• 통신 부하 L_hc 는 비코딩된 유니캐스트 대비 곱셈적 이득을 달성하며, K=9, r=14/9, s=3 일 때 L_hc = 20/27 이고, 최적 기법의 L*=8/15 와 비교해도 유의미하게 낮다.
• s=1 일 때, r→∞ 일 때 정보이론적 최적성을 달성하여 점점 최적임을 입증한다.
• s=2 일 때, K→∞ 일 때 정보이론적 최적성을 달성하여 이 영역에서 점점 최적임을 확인한다.
• 특히 s=r 이 작을 경우, 이론적 하한 L* 에 매우 가까운 근사 최적 성능을 유지한다.