[논문 리뷰] Balancing indivisible real-valued loads in arbitrary networks

Ömer Burak Demirel, Ivo F. Sbalzarini|arXiv (Cornell University)|2013. 08. 01.

Distributed and Parallel Computing Systems참고 문헌 34인용 수 3

한 줄 요약

이 논문은 균형 회로 모델(Balancing Circuit Model, BCM)을 사용하여 임의의 네트워크에서 나누기 어려운 실수값 작업 부하에 대한 동적 로드 밸런싱을 위한 SortedGreedy 알고리즘을 제안한다. 로컬 밸런싱 전에 부하를 정렬함으로써, Greedy보다 최대 135배 낮은 불균형도를 달성하면서도, 더 높은 통신 오버헤드에도 불구하고 20배 우수한 성능 대비 비용 비율을 유지한다.

ABSTRACT

In parallel computing, a problem is divided into a set of smaller tasks that are distributed across multiple processing elements. Balancing the load of the processing elements is key to achieving good performance and scalability. If the computational costs of the individual tasks vary over time in an unpredictable way, dynamic load balancing aims at migrating them between processing elements so as to maintain load balance. During dynamic load balancing, the tasks amount to indivisible work packets with a real-valued cost. For this case of indivisible, real- valued loads, we analyze the balancing circuit model, a local dynamic load-balancing scheme that does not require global communication. We extend previous analyses to the present case and provide a probabilistic bound for the achievable load balance. Based on an analogy with the offline balls-into-bins problem, we further propose a novel algorithm for dynamic balancing of indivisible, real-valued loads. We benchmark the proposed algorithm in numerical experiments and compare it with the classical greedy algorithm, both in terms of solution quality and communication cost. We find that the increased communication cost of the proposed algorithm is compensated by a higher solution quality, leading on average to about an order of magnitude gain in overall performance.

연구 동기 및 목표

• 임의의 네트워크에서 나누기 어려운 실수값 부하에 대한 이론적 및 알고리즘적 분석의 부족을 해결한다.
• 이전의 이산적(단위 크기) 로드 밸런싱 이론을 연속적인 실수값 사례로 확장한다.
• 전역 통신 없이도 부하 밸런싱 품질을 향상시키는 실용적이고 확장 가능한 알고리즘을 개발한다.
• 동적 로드 밸런싱에서 해법 품질(불균형도)과 통신 비용 간의 상호 상관 관계를 평가한다.
• 정렬 기반 로드 밸런싱이 전통적인 그리디 방법에 비해 정확성과 효율성 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 이산 사례에서 유도된 이론적 한계를 수정하여 BCM이 나누기 어려운 실수값 부하를 처리하도록 Adapt한다.
• 최대 부하가 감소하지 않으며 최소 부하가 증가하지 않는 조건 하에, BCM 하에서 기대 불균형도에 대한 날카운 확률적 한계를 유도한다.
• 매칭된 프로세서 쌍에서 로컬 밸런싱을 수행하기 전에 부하를 정렬하는 SortedGreedy—로컬 로드 밸런싱 알고리즘을 제안한다.
• 오프라인 가중 카드 놓기 프레임워크를 사용하여 부하 분포 품질과 수렴 속도를 모델링하고 분석한다.
• 두 가지 BCM 기반 프로토콜을 구현한다: 하나는 SortedGreedy를, 다른 하나는 전통적인 Greedy를 로컬 밸런싱 원천으로 사용한다.
• 성능 비교를 위해 $ S = p \frac{\text{disc}}{\alpha} $ 를 정의한다. 여기서 $\text{disc}$ 는 불균형도 감소량이고, $\alpha$ 는 총 부하 이동 수이다.

실험 결과

연구 질문

• RQ1 나누기 어려운 실수값 부하에 대해 BCM을 사용할 때 불균형도에 대한 날카운 이론적 한계를 도출할 수 있는가?
• RQ2 로컬 밸런싱 전에 부하 값을 정렬함으로써, 그리디 할당에 비해 최종 부하 밸런싱 품질은 어떻게 영향을 받는가?
• RQ3 BCM 기반 동적 로드 밸런싱에서 해법 품질(불균형도)과 통신 비용(부하 이동 수) 간의 상호 상관 관계는 어떠한가?
• RQ4 실제 네트워크 구조에서 SortedGreedy는 불균형도 감소와 전체 성능 대비 비용 비율 측면에서 Greedy를 초월하는가?
• RQ5 $ L/n $ 비율(총 부하량 대 노드 수)이 SortedGreedy와 Greedy 간 상대적 성능에 어떤 영향을 미치는가?

주요 결과

• 전체 부하 이동이 가능한 조건에서 SortedGreedy는 Greedy 대비 최대 135배 낮은 최종 불균형도를 달성하며, 부분 이동 조건에서는 21배 낮춘다.
• 전체 이동 조건에서는 14배, 부분 이동 조건에서는 2배 높은 통신 비용에도 불구하고, SortedGreedy는 평균적으로 22–24배 높은 성능 대비 비용 비율을 확보한다.
• 불균형도 감소와 통신 비용을 균형 잡은 척도인 $ S_{\text{rel}} $ 는 SortedGreedy가 Greedy를 최대 75배, 평균 22–24배 우수하게 성능을 냈다는 것을 보여준다.
• 부분 이동 조건에서 대규모 네트워크($ n > 128 $)에서는 SortedGreedy가 Greedy보다 더 적은 부하 이동 수를 요구할 것으로 예상되어, 통신 비용의 열세를 상쇄한다.
• 이산 사례에 대해 유도된 이론적 불균형도 한계는 최대 부하가 감소하지 않으며 최소 부하가 증가하지 않으며, 매칭된 간선당 기대 오차가 0인 조건 하에 실수값 부하에도 유효하다.
• 부하 수 $ m \gg n $ 인 경우, 최적의 정렬 기반 할당 덕분에 SortedGreedy는 Greedy보다 $ \text{O}(\log m) $ 만큼 더 낮은 불균형도를 달성한다.