[논문 리뷰] Tight Bounds for Parallel Randomized Load Balancing

Christoph Lenzen, Roger Wattenhofer|arXiv (Cornell University)|2011. 02. 26.

Distributed systems and fault tolerance참고 문헌 35인용 수 27

한 줄 요약

이 논문은 메시지 수와 대칭성 제약 조건 하에서 $\mathcal{O}(n)$ 메시지를 사용하여 $\log^{*}n + \mathcal{O}(1)$ 라운드 내에 최대 바구니 적재량이 2가 되는 적응형 대칭 병렬 알고리즘을 제안한다. 동일한 조건 하에서 시간 복잡도에 대해 $(1-o(1))\log^{*}n$ 의 매칭되는 하한을 증명하며, 통신 기반의 새로운 증명 기법을 통해 이론적 한계가 날카롭게 좁혀졌음을 입증한다.

ABSTRACT

We explore the fundamental limits of distributed balls-into-bins algorithms. We present an adaptive symmetric algorithm that achieves a bin load of two in log* n+O(1) communication rounds using O(n) messages in total. Larger bin loads can be traded in for smaller time complexities. We prove a matching lower bound of (1-o(1))log* n on the time complexity of symmetric algorithms that guarantee small bin loads at an asymptotically optimal message complexity of O(n). For each assumption of the lower bound, we provide an algorithm violating it, in turn achieving a constant maximum bin load in constant time. As an application, we consider the following problem. Given a fully connected graph of n nodes, where each node needs to send and receive up to n messages, and in each round each node may send one message over each link, deliver all messages as quickly as possible to their destinations. We give a simple and robust algorithm of time complexity O(log* n) for this task and provide a generalization to the case where all nodes initially hold arbitrary sets of messages. A less practical algorithm terminates within asymptotically optimal O(1) rounds. All these bounds hold with high probability.

연구 동기 및 목표

• 메시지 복잡도가 제한된 조건 하에서 대칭적이며 비적응형 병렬 볼스-인-빈 알고리즘의 상한과 하한 간 격차를 해소하기 위해.
• 협력이 병렬이어야 하며 바구니가 익명인 분산 시스템에서 로드 밸런싱의 기본 한계를 규명하기 위해.
• 동일한 제약 조건 하에서 적응성이 비적응형 방법보다 훨씬 더 빠른 수렴을 가능하게 함을 보여주기 위해.
• 바구니 레이블링과 메시지 수와 같은 다양한 가정 하에서 볼스-인-빈 문제의 병렬 복잡도를 완전한 분류로 제공하기 위해.
• 완전히 연결된 네트워크에서 $n$ 개 노드가 각각 최대 $n$ 개의 메시지를 송수신하는 실질적인 로드 밸런싱 문제에 결과를 적용하기 위해.

제안 방법

• 볼스가 반복적으로 무작위 바구니에 연락하고, 계층적 구조를 통해 불균형을 줄이기 위해 협력하는 적응형 대칭 알고리즘 ($\mathcal{A}(l)$)을 제안한다.
• 바구니가 책임지는 바구니 수 $\ell(b)$ 를 최대화하는 바구니를 선택함으로써 부하를 최소화하기 위해, 병렬적으로 조정하는 재귀적 메커니즘을 사용한다.
• 두 단계 접근법을 적용한다: 첫째, 확률적 메시지 교환을 통해 일부 바구니에 조정자 할당; 둘째, 볼스가 조정자 피드백을 이용해 낮은 부하 바구니 선택.
• 메시지 수와 실패 확률을 유한하게 제한하기 위해 체르노프 보조정리와 집중 불등식을 적용하여 고확률 보장을 확보한다.
• 정보 수집이나 장애 내성보다는 총 통신 볼륨에 기반한 새로운 통신 복잡도 하한 증명 기법을 도입한다.
• 메시지 수가 $\omega(n)$ 인 경우로 일반화하여, 메시지 제약 조건을 완화함으로써 상수 시간 알고리즘을 가능하게 한다.

실험 결과

연구 질문

• RQ1 $\mathcal{O}(n)$ 메시지를 사용하는 대칭적이고 적응형 알고리즘이 상수 수준의 바구니 적재량을 보장할 수 있는 최소 시간 복잡도는 얼마인가?
• RQ2 바구니의 익명성이 병렬 로드 밸런싱의 기본 한계에 어떤 영향을 미치는가?
• RQ3 동일한 메시지 및 대칭성 제약 조건 하에서 적응성이 비적응형 방법에 비해 시간 복잡도를 크게 감소시킬 수 있는가?
• RQ4 병렬 랜덤 로드 밸런싱에서 낮은 바구니 적재량을 달성하기 위해 메시지 복잡도와 시간 복잡도 사이의 상호 교환 관계는 무엇인가?
• RQ5 이론적 결과는 고병렬성과 대역폭 제약 조건이 있는 실제 분산 시스템에 어떻게 적용될 수 있는가?

주요 결과

• 적응형 대칭 알고리즘이 $\mathcal{O}(n)$ 메시지를 사용하여 $\log^{*}n + \mathcal{O}(1)$ 라운드 내에 최대 바구니 적재량 2를 달성하며, 이는 이론적 하한과 정확히 일치한다.
• $\mathcal{O}(n)$ 메시지를 사용하는 대칭 알고리즘에 대해 $(1-o(1))\log^{*}n$ 의 매칭되는 하한이 증명되었으며, 이는 알고리즘이 점근적으로 최적임을 보여준다.
• 하한은 정보 수집이나 장애 내성 때문이 아니라 통신 볼륨 제약 때문이며, 새로운 증명 기법이 필요하다.
• 바구니가 전역적으로 레이블링되어 있는 경우, $\mathcal{O}(n)$ 메시지를 사용하여 최대 바구니 적재량 3인 상수 시간 알고리즘이 존재함을 보여, 바구니의 익명성이 하한을 도출하는 데 필수적임을 입증한다.
• $\omega(n)$ 메시지의 경우, $\mathcal{O}(n\log^{(r)}n)$ 메시지를 사용하여 $r + \mathcal{O}(1)$ 라운드 내에 $\mathcal{O}(1)$ 바구니 적재량을 달성하는 상수 시간 알고리즘이 존재한다. 여기서 $r \in \mathbb{N}$ 이다.
• 이러한 결과는 네트워크 로드 밸런싱 문제에 적용되었으며, 모든 $n^2$ 개의 메시지가 고확률로 $\mathcal{O}(\log^{*}n)$ 라운드 내에 전달됨을 보여, 이론적 경계와 정확히 일치한다.