[논문 리뷰] Coded Distributed Computing with Heterogeneous Function Assignments

Nicholas Woolsey, Rong‐Rong Chen외 1명|arXiv (Cornell University)|2019. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 계산 능력에 따라 감소 함수의 수를 다르게 할당함으로써 효율적인 통신 부하 감소를 가능하게 하는 새로운 이종형 코딩된 분산 컴퓨팅(CDC) 기법을 제안한다. 같은 계산 부하 조건에서, 특히 r=Θ(K) 이고 K가 클 경우, 동종 CDC보다 더 낮은 통신 부하를 달성하기 위해 셰플 단계에서 r−1개의 노드를 동시에 처리하도록 설계된다.

ABSTRACT

Coded distributed computing (CDC) introduced by Li et. al. is an effective technique to trade computation load for communication load in a MapReduce framework. CDC achieves an optimal trade-off by duplicating map computations at $r$ computing nodes to yield multicasting opportunities such that $r$ nodes are served simultaneously in the Shuffle phase. However, in general, the state-of-the-art CDC scheme is mainly designed only for homogeneous networks, where the computing nodes are assumed to have the same storage, computation and communication capabilities. In this work, we explore two novel approaches of heterogeneous CDC design. First, we study CDC schemes which operate on multiple, collaborating homogeneous computing networks. Second, we allow heterogeneous function assignment in the CDC design, where nodes are assigned a varying number of reduce functions. Finally, we propose an expandable heterogeneous CDC scheme where $r-1$ nodes are served simultaneously in the Shuffle phase. In comparison to the state-of-the-art homogeneous CDC scheme with an equivalent computation load, we find our newly proposed heterogeneous CDC scheme has a smaller communication load in some cases.

연구 동기 및 목표

• 동일한 스토리지, 계산 및 통신 능력을 갖춘 동종 컴퓨팅 노드를 전제로 하는 기존 CDC 기법의 한계를 해결한다.
• 각 노드의 개별 능력에 따라 감소 함수의 수를 다르게 할당함으로써 이종 CDC 설계를 탐색한다.
• 이종 네트워크에서 계산-통신 상호보완 관계를 유지하면서도 확장 가능한 비계단식(Cascaded) CDC 기법을 개발한다.
• r=Θ(K) 조건에서 동종 CDC와 동일한 계산 부하 조건 하에 최신 기술의 동종 CDC보다 더 낮은 통신 부하를 달성함을 입증한다.

제안 방법

• 동일한 컴퓨팅 네트워크가 상호 협력하는 이종 CDC 프레임워크를 설계하여 노드 간 기능 할당의 유연성을 확보한다.
• 노드의 계산 및 스토리지 용량에 따라 감소 함수를 비균형적으로 할당함으로써 고용량 노드의 활용도를 높인다.
• 각 전송이 동시에 r−1개의 노드를 처리할 수 있도록 셰플 단계를 설계하고, 코딩된 멀티캐스팅을 활용해 통신 부하를 감소시킨다.
• 계단식 CDC 기법에서 유래한 파일 할당 방식을 사용하여 효율적인 중간 값 교환을 가능하게 하면서도 비계단식 동작을 유지한다.
• 노드의 능력과 전송 패tern을 기반으로 통신 부하를 함수로 기술하고, 달성 가능한 부하의 하한을 증명한다.
• 엔트로피 기반 정보이론적 추론을 적용하여 통신 부하의 하한을 유도하고, 제안된 기법의 성능와 비교한다.

실험 결과

연구 질문

• RQ1 계산 및 스토리지 능력이 상이한 이종 네트워크에서 비계단식 CDC 기법을 설계할 수 있는가?
• RQ2 고용량 노드에 더 많은 감소 함수를 할당하는 이종 기능 할당 방식이 동종 기법보다 통신 부하를 줄이는가?
• RQ3 r−1개 노드를 동시에 다중 전송하는 조건에서 이종 CDC 환경에서의 계산 부하와 통신 부하 간 기본적인 상호보완 관계는 무엇인가?
• RQ4 동일한 계산 부하 조건 하에서 제안된 이종 CDC 기법의 통신 부하가 최신 기술의 동종 CDC 기법보다 어떻게 다른가?
• RQ5 제안된 기법이 정보이론적 하한에 대해 일정 요소 이내의 통신 부하를 달성할 수 있는가?

주요 결과

• r=Θ(K) 이고 K가 커질수록 제안된 이종 CDC 기법이 최신 기술의 동종 CDC 기법보다 더 낮은 통신 부하를 달성한다.
• 각 전송에서 r−1개의 노드를 동시에 처리할 수 있도록 함으로써, 계산-통신 상호보완 관계를 유지한다.
• 제안된 기법의 통신 부하는 정보이론적 하한에 대해 최대 4배 이내의 상수 요소 내에서 유지되어 근사 최적성을 입증한다.
• 고용량 노드에 더 많은 감소 함수를 할당함으로써 자원 활용도를 향상시키고 전체 통신 오버헤드를 감소시킨다.
• 엔트로피 부등식과 순열 기반의 노드 순서 정렬을 사용하여 통신 부하의 하한을 도출하였으며, 이는 기법이 상수 요소 내에서 최적임을 보여준다.
• 분석 결과, 노드 수 K가 크고 r이 K에 선형적으로 증가할 경우, 제안된 기법이 동종 CDC보다 통신 부하 측면에서 뛰어나다는 것이 확인된다.