[논문 리뷰] A Combinatorial Design for Cascaded Coded Distributed Computing on General Networks

Nicholas Woolsey, Rong‐Rong Chen외 1명|arXiv (Cornell University)|2020. 08. 02.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 동일한 및 이질적 네트워크에서 계류된 코딩된 분산계산(CDC)을 위한 초입방체 구조를 활용한 새로운 조합 설계를 제안한다. 입력 파일 및 출력 함수 할당을 최적화함으로써, 통신 부하를 크게 감소시키며 이전 작업을 능가하는 바, 입력 파일과 함수의 수를 지수적으로 줄여, 정보 이론적 한계의 일정한 요소 내에서 거의 최적의 성능를 달성한다.

ABSTRACT

Coding theoretic approached have been developed to significantly reduce the communication load in modern distributed computing system. In particular, coded distributed computing (CDC) introduced by Li et al. can efficiently trade computation resources to reduce the communication load in MapReduce like computing systems. For the more general cascaded CDC, Map computations are repeated at r nodes to significantly reduce the communication load among nodes tasked with computing Q Reduce functions s times. In this paper, we propose a novel low-complexity combinatorial design for cascaded CDC which 1) determines both input file and output function assignments, 2) requires significantly less number of input files and output functions, and 3) operates on heterogeneous networks where nodes have varying storage and computing capabilities. We provide an analytical characterization of the computation-communication tradeoff, from which we show the proposed scheme can outperform the state-of-the-art scheme proposed by Li et al. for the homogeneous networks. Further, when the network is heterogeneous, we show that the performance of the proposed scheme can be better than its homogeneous counterpart. In addition, the proposed scheme is optimal within a constant factor of the information theoretic converse bound while fixing the input file and the output function assignments.

연구 동기 및 목표

• 기존 계류 CDC 기법들이 통신 부하를 확보하기 위해 큰 수의 입력 파일과 출력 함수가 필요로 하는 한계를 해결하기 위해.
• 노드의 스토리지, 계산 및 통신 능력이 상이한 이질적 네트워크로 코딩된 분산계산을 확장하기 위해.
• 저복잡도 설계를 개발하여 입력 파일 및 출력 함수 할당을 동시에 최적화함으로써 계산-통신 트레이드오프를 향상시키기 위해.
• 제안된 기법이 최신 동일한 CDC 기법을 능가하고 이질적 환경에서도 더 나은 성능을 달성함을 보여주기 위해.

제안 방법

• 논문은 초입방체 조합 구조를 활용하여 노드 간에 입력 파일과 Reduce 함수를 할당함으로써 효율적인 코딩된 멀티캐스팅을 가능하게 한다.
• 통신 부하를 최소화하기 위해 잔여 크기가 가장 큰 차원을 우선순위로 하는 동적 순열 기반의 노드 선택 전략을 도입한다.
• 셔플 단계에서 랜덤 선형 조합의 필요성을 줄여 encoding 및 decoding 복잡도를 낮춘다.
• 각 노드가 초입방체의 한 층을 제거하는 계층적 감소 과정을 사용하며, 가용 파일 및 할당된 함수에 따라 효과적인 크기를 축소한다.
• 초입방체 차원의 곱항의 조합 합산을 통해 분석적 경계를 유도하여 통신 부하에 대한 폐쇄형 표현식을 도출한다.
• 두 가지 하한—L_P1 및 L_P2—을 도입하여 서로 다른 노드 순서 전략에 기반한 통신 부하의 하한을 도출하며, 이를 종합하여 전체 성능 한계를 유도한다.

실험 결과

연구 질문

• RQ1 계류 CDC에 대해 저복잡도 조합 설계를 개발할 수 있는가? 이는 필요한 입력 파일 수와 출력 함수 수를 줄이면서도 통신 부하 확보를 유지할 수 있는가?
• RQ2 제안된 기법이 동일한 네트워크와 이질적 네트워크 환경 모두에서 기존 CDC 기법을 능가하는가?
• RQ3 Li 등이 제시한 동일한 네트워크에 대한 경계를 초월하여 계류 CDC의 기본 계산-통신 트레이드오프를 향상시킬 수 있는가?
• RQ4 노드의 능력(스토리지, 계산, 통신)이 이질적일 경우 제안된 설계는 어떻게 성능을 발휘하는가?
• RQ5 셔플 단계에서 랜덤 선형 조합의 수를 최소화함으로써 encoding/decoding 복잡도는 어느 정도 감소하는가?

주요 결과

• 고정된 입력 파일 및 함수 할당 조건 하에, 제안된 기법은 동일한 네트워크에서 Li 등이 제시한 최신 기법보다 엄격히 낮은 통신 부하를 달성한다.
• 이질적 네트워크에서는 동일한 네트워크 버전과 이전 기법보다 모두 뛰어난 성능를 보이며, 다양한 노드 능력에 적응 가능함을 입증한다.
• 이전의 계류 CDC 설계 대비 필요한 입력 파일 수와 출력 함수 수가 지수적으로 감소하여, 노드 수에 대해 O(1)의 비율로 스케일링된다.
• 고정된 파일 및 함수 할당 조건 하에, 정보 이론적 역설 하한의 일정한 요소 내에서 최적의 계산-통신 트레이드오프를 달성한다.
• 두 가지 다른 노드 순서 전략에 기반한 분석적 하한을 사용하여 통신 부하를 유도하였으며, 잔여 초입방체 차원 중 가장 큰 것을 우선순위로 하는 순서 전략에서 더 날카로운 하한을 도출하였다.
• 대규모 네트워크에서 r = Θ(1) 또는 r = o(K)일 경우, 제안된 기법의 통신 부하와 하한의 비율은 1 + o(1)에 수렴하여 거의 최적임을 확인한다.