[논문 리뷰] Cascaded Coded Distributed Computing on Heterogeneous Networks

Nicholas Woolsey, Rong‐Rong Chen외 1명|arXiv (Cornell University)|2019. 01. 23.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 4

한 줄 요약

이 논문은 스토리지 및 계산 능력이 상이한 노드를 가진 이질적 네트워크에서 계산된 분산 컴퓨팅(CDC)을 위한 새로운 조합 설계를 제안한다. 여러 노드가 각각의 Reduce 기능을 동시에 계산하도록 하여 통신 부하를 줄이고, 전략적으로 그룹화된 노드 간에 코딩된 데이터 재배치를 활용함으로써, 상수 요인 내에서 최적의 계산-통신 트레이드오프를 달성하며, 기존의 동일한 조건에서만 작동하는 CDC 기법들보다 통신 부하를 줄이고 인코딩 복잡도를 감소시킨다.

ABSTRACT

Coded distributed computing (CDC) introduced by Li et al. in 2015 offers an efficient approach to trade computing power to reduce the communication load in general distributed computing frameworks such as MapReduce. For the more general cascaded CDC, Map computations are repeated at $r$ nodes to significantly reduce the communication load among nodes tasked with computing $Q$ Reduce functions $s$ times. While an achievable cascaded CDC scheme was proposed, it only operates on homogeneous networks, where the storage, computation load and communication load of each computing node is the same. In this paper, we address this limitation by proposing a novel combinatorial design which operates on heterogeneous networks where nodes have varying storage and computing capabilities. We provide an analytical characterization of the computation-communication trade-off and show that it is optimal within a constant factor and could outperform the state-of-the-art homogeneous schemes.

연구 동기 및 목표

• 기존의 코딩된 분산 컴퓨팅 기법들이 동일한 노드 능력을 가진 동일한 네트워크에서만 작동한다는 한계를 해결하기 위해.
• 스토리지, 계산, 통신 용량이 상이한 노드를 가진 이질적 네트워크에서 확장 가능하고 효율적인 CDC 프레임워크를 설계하기 위해.
• 각각의 Reduce 기능이 다수의 노드에서 계산되는 계류된 CDC를 가능하게 하되, 코딩된 재배치를 통해 통신 부하를 최소화하기 위해.
• 계산-통신 트레이드오프를 분석적으로 규명하고, 상수 요인 내에서 거의 최적임을 입증하기 위해.
• 중간 값에 대한 무작위 선형 조합의 수를 줄임으로써 인코딩 및 디코딩의 복잡도를 감소시키기 위해.

제안 방법

• 이질적 스토리지 및 계산 능력을 가진 노드들 간에 입력 파일과 중간 값을 할당하기 위한 새로운 조합 설계를 도입한다.
• 노드들은 능력에 따라 그룹화되며, $\mathcal{K}_i$는 $i$-번째 Map-Reduce 라운드에서 파일을 저장하는 노드를 나타낸다.
• 셔플 단계의 $s$라운드 동안, 중간 값들이 구조적 부분집합 $\mathcal{S}$, $\mathcal{S}'$, $\mathcal{Y}$를 사용하여 코딩된 쌍으로 전송되어 코딩 이득을 극대화한다.
• 전체 가능한 노드 그룹 $\mathcal{A}$의 크기가 $\gamma$인 경우(1에서 $s-1$까지), 전송 횟수를 세어 통신 부하를 유도하며, 마지막 라운드($\gamma = s$)는 $2s$개의 노드에 걸쳐 대칭 코딩을 사용한다.
• 전체 전송 비트 수를 $QNT = \eta_1\eta_2X^2T$로 정규화하여 통신 부하를 시스템 파라미터의 함수로 표현한다.
• 설계는 각 중간 값이 $r_c = s$개의 노드에서 계산되도록 보장하며, 총 계산 부하를 $r_c = s$로 정규화한다.

실험 결과

연구 질문

• RQ1 스토리지 및 계산 능력이 상이한 노드를 가진 이질적 네트워크에서 계류된 CDC 기법을 설계할 수 있는가?
• RQ2 이러한 이질적 계류된 CDC 시스템에서 달성 가능한 계산-통신 트레이드오프는 무엇인가?
• RQ3 이질적 환경에서 코딩 이득을 극대화하면서도 인코딩 및 디코딩 복잡도를 최소화할 수 있는 방법은 무엇인가?
• RQ4 제안된 기법이 기존의 동일한 조건에서 작동하는 CDC 기법들보다 통신 부하 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 트레이드오프가 이질적 네트워크에서 상수 요인 내에서 최적인가?

주요 결과

• 제안된 기법은 특정 시스템 파rameter에서 노드 능력이 이질적일 경우, 계산-통신 트레이드오프가 상수 요인 내에서 최적임을 달성한다.
• 기존의 최신 동일한 조건의 CDC 기법들에 비해 통신 부하가 크게 감소하였으며, 계산 부하 및 파일 수 등의 다른 시스템 파라미터를 동일하게 유지한 상태에서도 마찬가지다.
• 중간 값에 대한 무작위 선형 조합의 필요성을 줄여 셰플 단계의 인코딩 및 디코딩 복잡도를 낮춘다.
• 셔플 단계에서 전송된 총 비트 수는 $\frac{\eta_1\eta_2}{2X} \sum_{\gamma=1}^{s-1} \left[ \sum_{\substack{\mathcal{A} \subset [s] \\ |\mathcal{A}|=\gamma}} \prod_{i \in \mathcal{A}} (x_i - 1) \right] + \frac{s\eta_1\eta_2TX}{2s-1} \prod_{i=1}^{s} (x_i - 1)$ 로 유도되며, 이는 통신 부하를 정량화한다.
• 계산 부하는 $r_c = s$로 정규화되어 있어 각 중간 값이 $s$개의 노드에서 계산됨을 의미하며, 이는 통신 부하를 $s$ 배 감소시키는 곱셈적 감소 효과를 제공한다.
• 분석적 유도 결과는 노드와 중간 값 집합을 체계적으로 그룹화함으로써 코딩 이득을 유지하고 효율적인 데이터 재배치를 보장함을 확인한다.