[논문 리뷰] Combating Computational Heterogeneity in Large-Scale Distributed Computing via Work Exchange

Mohamed Adel Attia, Ravi Tandon|arXiv (Cornell University)|2017. 11. 22.

Cloud Computing and Resource Management참고 문헌 12인용 수 9

한 줄 요약

이 논문은 계산 이질성 문제를 해결하기 위해 동적으로 느린 워커에서 남은 작업을 빠른 워커로 재할당하는 워크 교환 메커니즘을 제안한다. 이는 유휴 시간과 중복 계산을 최소화하며, 워커 속도에 대한 사전 지식이 없더라도 이론적 하한에 매우 가까운 계산 시간을 달성한다.

ABSTRACT

Owing to data-intensive large-scale applications, distributed computation systems have gained significant recent interest, due to their ability of running such tasks over a large number of commodity nodes in a time efficient manner. One of the major bottlenecks that adversely impacts the time efficiency is the computational heterogeneity of distributed nodes, often limiting the task completion time due to the slowest worker. In this paper, we first present a lower bound on the expected computation time based on the work-conservation principle. We then present our approach of work exchange to combat the latency problem, in which faster workers can be reassigned additional leftover computations that were originally assigned to slower workers. We present two variations of the work exchange approach: a) when the computational heterogeneity knowledge is known a priori; and b) when heterogeneity is unknown and is estimated in an online manner to assign tasks to distributed workers. As a baseline, we also present and analyze the use of an optimized Maximum Distance Separable (MDS) coded distributed computation scheme over heterogeneous nodes. Simulation results also compare the proposed approach of work exchange, the baseline MDS coded scheme and the lower bound obtained via work-conservation principle. We show that the work exchange scheme achieves time for computation which is very close to the lower bound with limited coordination and communication overhead even when the knowledge about heterogeneity levels is not available.

연구 동기 및 목표

• 느린 워커(스트레일러)로 인해 전체 작업 완료가 지연되는 대규모 분산 시스템에서의 계산 이질성 문제를 해결한다.
• 중복 계산을 낭비하는 코딩된 계산 기법과 유휴 상태에 놓이는 워커를 초래하는 워크 스틸링 기법의 한계를 극복한다.
• 중복 계산과 유휴 시간을 최소화하면서도 이론적 계산 시간 하한에 가까운 성능을 달성하는 기법을 개발한다.
• 사전에 이질성 정보가 있는지 여부에 관계없이 낮은 통신 및 조정 오버헤드로 효율적인 작업 분배를 가능하게 한다.

제안 방법

• 작업 보존 원칙을 기반으로 워커 속도에 대한 수문 채우기 최적화로 해석되는 오라클 하한 계산 시간을 유도한다.
• 마스터 노드가 실시간 진척 상황을 기반으로 느린 워커의 완료되지 않은 서브작업을 반복적으로 더 빠른 워커로 재할당하는 워크 교환 프레임워크를 제안한다.
• 이중 변형을 구현한다: 사전에 계산된 작업 할당을 사용하는 이질성 정보가 알려진 경우와 온라인으로 워커 속도를 추정하는 경우.
• 재할당 반복 횟수를 제한하기 위해 커팅 임계값을 사용하여 통신 오버헤드를 줄이면서도 낮은 지연 시간을 유지한다.
• 작업을 분할 가능한 작업 단위로 모델링하여 이질적 노드 간에 민첩한 로드 밸런싱을 가능하게 한다.
• 관측된 완료 시간을 활용하여 알려지지 않은 이질성 상황에서 워커 속도를 동적으로 추정하는 피드백 루프를 통합한다.

실험 결과

연구 질문

• RQ1 중복 계산 없이 유휴 워커 없이도 이질적 분산 시스템에서 이론적 최소 계산 시간은 얼마인가?
• RQ2 중복 계산과 유휴 시간을 최소화하면서도 이론적 하한에 가까운 성능을 달성할 수 있는 기법은 어떻게 설계할 수 있는가?
• RQ3 이러한 시스템에서 계산 시간, 조정, 통신 오버헤드 사이의 상호 상충 관계는 어떠한가?
• RQ4 사전에 이질성 정보가 없더라도 워크 교환 기법이 근사 최적 성능을 달성할 수 있는가?

주요 결과

• 워크 교환 기법은 워커 이질성에 대한 사전 지식이 없더라도 오라클 하한에 매우 가까운 계산 시간을 달성한다.
• 이질성 정보가 알려진 경우, 초기 작업 할당이 이미 최적이므로 추가 통신이 거의 발생하지 않는다.
• 이질성 정보가 알려지지 않은 경우, 추가 통신은 워커 속도의 분산에 따라 증가하지만 전체적으로 낮은 수준을 유지한다.
• 재할당 반복 횟수는 이질성 분산에 따라 증가하지만 커팅 임계값을 통해 제어할 수 있으며, 성능 저하 없이 반복 횟수를 줄일 수 있다.
• 특히 중복 계산을 피하는 데서 두각한 성능 향상을 보이며, 고이질성 환경에서 기준 MDS-코딩된 계산보다 뚜렷이 뛰어나다.
• 계산이 독립적인 서브작업으로 분할될 수 있다면 선형 및 비선형 작업 모두에 적용 가능하다.