[논문 리뷰] Distributed Computing with Heterogeneous Communication Constraints: The Worst-Case Computation Load and Proof by Contradiction

Nishant Shakya, Fan Li외 1명|arXiv (Cornell University)|2018. 02. 01.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 10

한 줄 요약

이 논문은 노드 간 데이터 전송 용량이 상이한 이종 통신 제약 조건 하에서 분산 계산을 다룬다. 증명의 모순에 기반한 새로운 기법을 제안하여 날카로운 상한을 유도하며, 총 계산 부하를 최소화하는 것과 최악의 경우 부하를 최소화하는 것 사이의 근본적 상충 관계를 드러낸다. 여기서 코딩은 통신을 줄일 수 있지만 피크 부하를 증가시킬 수 있고, 반대로 비코딩은 반대의 영향을 미칠 수 있다. 본 연구는 극한 영역에서 최적의 방법을 규명하고 특정 파rameter 조합에 대해 정확한 상한을 제공한다.

ABSTRACT

We consider a distributed computing framework where the distributed nodes have different communication capabilities, motivated by the heterogeneous networks in data centers and mobile edge computing systems. Following the structure of MapReduce, this framework consists of Map computation phase, Shuffle phase, and Reduce computation phase. The Shuffle phase allows distributed nodes to exchange intermediate values, in the presence of heterogeneous communication bottlenecks for different nodes (heterogeneous communication load constraints). For this setting, we characterize the minimum total computation load and the minimum worst-case computation load in some cases, under the heterogeneous communication load constraints. While the total computation load depends on the sum of the computation loads of all the nodes, the worst-case computation load depends on the computation load of a node with the heaviest job. We show an interesting insight that, for some cases, there is a tradeoff between the minimum total computation load and the minimum worst-case computation load, in the sense that both cannot be achieved at the same time. The achievability schemes are proposed with careful design on the file assignment and the data shuffling. Beyond the cut-set bound, a novel converse is proposed using the proof by contradiction. For the general case, we identify two extreme regimes in which both the scheme with coding and the scheme without coding are optimal, respectively.

연구 동기 및 목표

• 이종 통신 제약 조건이 존재하는 분산 계산 시스템에서 최소 총 계산 부하와 최소 최악의 경우 부하를 규명하는 것.
• 이러한 제약 조건 하에서 총 계산 부하를 최소화하고 최악의 경우 부하를 최소화하는 것 사이의 상충 관계를 조사하는 것.
• 이 설정에서 정보이론적 상한을 유도하기 위해 모순 기반의 새로운 역방향 증명 기법을 개발하는 것.
• 코딩된 및 비코딩된 방법이 각각 최적일 수 있는 극한 영역을 식별하는 것.

제안 방법

• 맵리듀스를 모델로 삼은 프레임워크를 사용하며, 맵, 셔플, 리듀스 단계를 거치며 중간 값들이 노드별 통신 부하 제약 조건 L1, L2, ..., LK 하에서 재배치된다.
• 특히 계산 부하의 날카로운 하한을 확보하는 데 효과적인, 모순에 기반한 증명 기법을 제안한다.
• 유도된 상한에 도달하기 위해 파일 할당 및 데이터 재배치 전략을 설계하여 통신 능력이 상이한 노드들 간의 부하를 균형 있게 조절한다.
• 기초로 컷셋 한계를 적용하고, 엔트로피 부등식과 조건부 독립 제약 조건을 활용한 새로운 역방향 추론을 통해 이를 확장한다.
• 주요 역방향 결과 유도를 가능하게 하는 핵심 레마들을 도입하여 부분 정보를 바탕으로 한 중간 값의 엔트로피를 제한한다.
• 세 개의 노드 시스템(K=3)을 상세히 분석하여 대칭성과 엔트로피 체인 규칙을 활용해 M∗total 및 M∗worst에 대한 명시적 상한을 도출한다.

실험 결과

연구 질문

• RQ1 이종 통신 제약 조건 하에서 최소 총 계산 부하와 최소 최악의 경우 부하를 동시에 달성할 수 있는가?
• RQ2 이러한 시스템에서 총 부하를 최소화하고 피크 부하를 최소화하는 것 사이의 근본적 상충 관계는 무엇인가?
• RQ3 각 노드의 통신 능력(L1, L2, ..., LK)은 최악의 경우 계산 부하에 어떤 영향을 미치는가?
• RQ4 코딩된 분산 계산이 비코딩 방법보다 최적일 수 있는 영역는 어디인가?
• RQ5 모순에 기반한 증명 기법은 비대칭 제약 조건이 존재하는 분산 계산에서 날카로운 역방향 상한을 효과적으로 도출하는 데 유용한가?

주요 결과

• K=3, Q=3, N=7, L1=L2=2, L3=14 인 시스템에서 최소 총 계산 부하 M∗total은 7이며, 최소 최악의 경우 부하 M∗worst는 4이며, 이 두 값은 동시에 달성될 수 없다.
• 총 통신 부하 L 이 고정되어 있을 경우, M∗total은 개별 Li의 분포에 관계없이 일정하지만, M∗worst는 개별 Li 값에 따라 변동함을 보여, 최악의 경우 부하에 대해 개별 제약 조건이 중요함을 시사한다.
• 총 계산 부하를 최소화하고 최악의 경우 부하를 최소화하는 것 사이에 근본적 상충 관계가 존재한다: 한쪽을 개선하면 다른 쪽이 악화될 수 있다.
• 통신 제약 조건이 극도로 불균형한 영역(예: 한 노드가 매우 높은 용량을 가짐)에서는 코딩된 방법이 최적이며, 균형 잡힌 영역에서는 비코딩된 방법이 최적이다.
• 모순에 기반한 증명 기법은 표준 컷셋 한계가 부족한 경우 특히 효과적이며 날카로운 역방향 상한을 도출하는 데 뛰어나다.
• 세 노드 시스템에서는 유도된 상한이 날카로우며, 집합 Wk 및 Mk의 크기와 통신 제약 조건 Lk에 명시적으로 의존한다.