[논문 리뷰] Heterogeneous Coded Distributed Computing: Joint Design of File Allocation and Function Assignment

Fan Xu, Meixia Tao|arXiv (Cornell University)|2019. 08. 19.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 노드의 계산 능력이 상이한 이종 코딩된 분산계산 시스템을 대상으로 공동 파일 할당 및 기능 할당 방식을 제안한다. 파일을 필수적 배치와 선택적 배치로 분할하고 셰플 단계에서 코딩된 멀티캐스팅을 활용함으로써, 동등한 동종 시스템에서 최적의 성능에 비해 상수 배수 간격(최대 20e) 이내의 통신 부하를 달성하며, 특정 시나리오에서 이전 연구들보다 뛰어난 성능을 보인다.

ABSTRACT

This paper studies the computation-communication tradeoff in a heterogeneous MapReduce computing system where each distributed node is equipped with different computation capability. We first obtain an achievable communication load for any given computation load and any given function assignment at each node. The proposed file allocation strategy has two steps: first, the input files are partitioned into disjoint batches, each with possibly different size and computed by a distinct node; then, each node computes additional files from its non-computed files according to its redundant computation capability. In the Shuffle phase, coded multicasting opportunities are exploited thanks to the repetitive file allocation among different nodes. Based on this scheme, we further propose the computation-aware and the shuffle-aware function assignments. We prove that, by using proper function assignments, our achievable communication load for any given computation load is within a constant multiplicative gap to the optimum in an equivalent homogeneous system with the same average computation load. Numerical results show that our scheme with shuffle-aware function assignment achieves better computation-communication tradeoff than existing works in some cases.

연구 동기 및 목표

• 노드의 계산 및 스토리지 능력이 상이한 이종 MapReduce 시스템에서의 계산-통신 트레이드오프를 해결한다.
• 과잉 계산 능력을 활용해 셰플 단계에서 코딩된 멀티캐스팅 기회를 창출할 수 있는 파일 할당 전략을 설계한다.
• 이종 노드 능력에 대응하여 계산 인지 및 셰플 인지 기능 할당 전략을 제안하여 통신 부하를 최적화한다.
• 제안된 방식이 동등한 동종 시스템에서 최적의 통신 부하에 비해 상수 배수 간격(최대 20e) 이내로 통신 부하를 달성함을 증명한다.
• 수치적 결과를 통해 특정 이종 구성에서 기존 방법들보다 성능이 뛰어나다는 것을 입증한다.

제안 방법

• N개의 입력 파일을 K개의 상호배타적 배치로 분할: 각 노드당 하나의 필수 파일과 나머지 선택적 파일.
• 노드의 계산 부하 m_k에 기반해 Map 기능을 할당하며, 각 노드는 필수 파일과 다른 노드의 선택적 파일을 추가로 계산한다.
• 선택적 파일 계산로 인해 노드 간 파일 중복이 발생함을 활용해 셰플 단계에서 코딩된 멀티캐스팅을 적용한다.
• 두 가지 기능 할당 전략 제안: 계산 인지 전략(높은 능력의 노드에 더 많은 기능 할당)과 셰플 인지 전략(코딩된 멀티캐스팅 이득 최적화).
• 주어진 계산 부하 및 기능 할당에 대해 달성 가능한 통신 부하의 닫힌 형태 표현식 유도.
• 점근적 분석 및 사례 기반 경계 기법을 활용해 동등한 동종 시스템에서 최적 부하에 대한 배수 간격을 증명한다.

실험 결과

연구 질문

• RQ1 이종 코딩된 분산계산 시스템에서 공동 파일 할당 및 기능 할당 설계가 근사 최적의 통신 부하를 달성할 수 있는가?
• RQ2 제안된 파일 분할 전략(필수 및 선택적 파일)이 셰플 단계에서 코딩된 멀티캐스팅 기회를 어떻게 향상시키는가?
• RQ3 제안된 방식의 통신 부하와 동등한 동종 시스템에서의 최적 부하 간 최대 배수 간격은 얼마인가?
• RQ4 계산 인지 및 셰플 인지 기능 할당 전략이 이종 시스템에서의 통신-통신 트레이드오프에 어떤 영향을 미치는가?
• RQ5 어떤 조건에서 제안된 방식이 통신 부하 측면에서 기존 방법들을 초월하는가?

주요 결과

• 제안된 방식은 동일한 평균 계산 부하를 가진 동등한 동종 시스템에서 최적의 통신 부하에 비해 상수 배수 간격(최대 20e) 이내의 통신 부하를 달성한다.
• 셰플 인지 기능 할당 전략은 특정 이종 구성에서 기존 연구들보다 더 우수한 계산-통신 트레이드오프를 제공한다.
• 주어진 계산 부하 및 기능 할당에 대해 통신 부하가 닫힌 형태로 유도되어 체계적 최적화가 가능하다.
• 수치적 결과는 노드 능력이 극도로 이종적인 경우 특히, 기존 방법들보다 통신 부하 감소 측면에서 제안된 방식이 뛰어남을 확인한다.
• 분석을 통해 비균일한 노드 능력 조건에서도 제한된 배수 간격을 통해 강력한 성능 보장을 유지함을 증명한다.
• 필수 및 선택적 배치로 파일을 분할하는 방법이 과잉 계산 능력을 효과적으로 활용해 효율적인 코딩된 멀티캐스팅을 가능하게 한다.