[논문 리뷰] Asymptotic Optimality of Power-of-$d$ Load Balancing in Large-Scale Systems

Debankur Mukherjee, Sem Borst외 2명|Research portal (Tilburg University)|2016. 12. 02.

Advanced Queuing Theory Analysis참고 문헌 22인용 수 12

한 줄 요약

이 논문은 대규모 시스템에서 파wr-오브-$d$ 로드 밸런싱 기법의 渐近적 최적성을 확립하며, $d(N) \to \infty$ 및 $d(N)/\sqrt{N}\log(N) \to \infty$일 때 각각 유체 및 확산 한계가 최적의 Join-the-Shortest-Queue (JSQ) 정책과 일치함을 보여준다. 주요 기여는 통신 오버헤드를 크게 줄인 상태에서 거의 최적의 성능을 입증하는 데 사용된 새로운 확률적 쌍화 구축 방법이다. 이는 각각 유체 수준과 확산 수준에서 오버헤드를 거의 $O(N)$ 및 $O(\sqrt{N}/\log(N))$ 감소시킨다.

ABSTRACT

We consider a system of $N$ identical server pools and a single dispatcher where tasks arrive as a Poisson process of rate $λ(N)$. Arriving tasks cannot be queued, and must immediately be assigned to one of the server pools to start execution, or discarded. The execution times are assumed to be exponentially distributed with unit mean, and do not depend on the number of other tasks receiving service. However, the experienced performance (e.g. in terms of received throughput) does degrade with an increasing number of concurrent tasks at the same server pool. The dispatcher therefore aims to evenly distribute the tasks across the various server pools. Specifically, when a task arrives, the dispatcher assigns it to the server pool with the minimum number of tasks among $d(N)$ randomly selected server pools. This assignment strategy is called the JSQ$(d(N))$ scheme, as it resembles the power-of-$d$ version of the Join-the-Shortest-Queue (JSQ) policy, and will also be referred to as such in the special case $d(N) = N$. We construct a stochastic coupling to bound the difference in the system occupancy processes between the JSQ policy and a scheme with an arbitrary value of $d(N)$. We use the coupling to derive the fluid limit in case $d(N) o \infty$ and $λ(N)/N o λ$ as $N o \infty$, along with the associated fixed point. The fluid limit turns out to be insensitive to the exact growth rate of $d(N)$, and coincides with that for the JSQ policy. We further leverage the coupling to establish that the diffusion limit corresponds to that for the JSQ policy as well, as long as $d(N)/\sqrt{N} \log(N) o \infty$, and characterize the common limiting diffusion process. These results indicate that the JSQ optimality can be preserved at the fluid-level and diffusion-level while reducing the overhead by nearly a factor O($N$) and O($\sqrt{N}/\log(N)$), respectively.

연구 동기 및 목표

• 최적의 Join-the-Shortest-Queue (JSQ) 정책의 성능이 대규모 시스템에서 통신 오버헤드를 줄이면서도 유지되는지 조사하기 위해.
• JSQ($d(N)$) 기법이 유체 및 확산 수준의 최적성을 달성하기 위해 필요한 $d(N)$의 최소 성장률을 규명하기 위해.
• JSQ($d(N)$)와 전체 JSQ 정책의 시스템 점유 과정을 비교하기 위한 새로운 확률적 쌍화 프레임워크를 개발하기 위해.
• JSQ($d(N)$)의 유체 및 확산 한계가 $d(N)$의 약간의 성장 조건 하에서 전체 JSQ 정책의 것과 일치함을 입증하기 위해.
• 대규모 시스템을 위한 랜덤라이즈드 로드 밸런싱 기법에서 성능 최적성과 통신 비용 간의 트레이드오프를 정량화하기 위해.

제안 방법

• JSQ와 JSQ($d(N)$)를 연결하는 중간 기법을 사용하는 이중 단계 확률적 쌍화 접근법을 제안하며, 이 기법은 $n(N)+1$개의 가장 작은 큐 풀에서 선택한다.
• JSQ와 JSQ($d(N)$) 간의 시스템 점유 과정의 차이를 유한하게 제한하기 위해 쌍화를 구축함으로써, 유체 및 확산 한계의 비교를 가능하게 한다.
• 유체 한계를 유도하기 위해 마틴갈 representation과 상대적 컴acts성 추론을 사용하며, $d(N) \to \infty$ 및 $\lambda(N)/N \to \lambda$ 조건을 적용한다.
• Halfin-Whitt 영역에서 확산 한계 분석을 적용하여, $d(N)/\sqrt{N}\log(N) \to \infty$일 때 JSQ와 동치임을 보여준다.
• 확률적 부등식과 점근적 동치 추론을 사용하여, 특정 스케일링 하에서 JSQ($d(N)$) 과정이 JSQ 과정으로 수렴함을 증명한다.
• 보편성 성질을 활용하여, $d(N)$의 정확한 성장률에 관계없이 그 값이 충분히 발산하면 한계 행동이 민감하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 JSQ($d(N)$) 기법의 유체 한계가 전체 JSQ 정책과 일치하는 조건은 무엇인가?
• RQ2 JSQ($d(N)$)의 확산 한계가 JSQ 정책과 일치하기 위해 필요한 $d(N)$의 최소 성장률은 무엇인가?
• RQ3 최적의 JSQ 정책의 성능은 대규모 시스템에서 통신 오버헤드를 크게 줄이면서도 유지될 수 있는가?
• RQ4 제안된 확률적 쌍화 방법은 어떻게 JSQ와 JSQ($d(N)$) 기법 간의 비교를 유체 및 확산 수준에서 가능하게 하는가?
• RQ5 로드 할당을 위해 무작위로 샘플된 큐의 일부만 사용할 경우, JSQ 정책의 최적성은 얼마나 견고한가?

주요 결과

• JSQ($d(N)$)의 유체 한계는 $N \to \infty$일 때 $d(N) \to \infty$이면, 그 정확한 성장률에 관계없이 전체 JSQ 정책의 것과 일치한다.
• JSQ($d(N)$)의 확산 한계는 $d(N)/\sqrt{N}\log(N) \to \infty$일 때 JSQ 정책의 것과 일치하며, 이 조건은 거의 必要하다.
• JSQ($d(N)$)의 통신 오버헤드는 전체 JSQ 대비 유체 수준에서 거의 $O(N)$, 확산 수준에서 거의 $O(\sqrt{N}/\log(N))$ 감소한다.
• 제안된 확률적 쌍화 구축은 JSQ와 JSQ($d(N)$) 간의 이중 차원 비교를 가능하게 하여 직접 비교의 어려움을 극복한다.
• JSQ($d(N)$)의 한계 유체 및 확산 과정은 $d(N)$의 정확한 성장률에 민감하지 않으며, 그 값이 무한히 발산하는 한 성립한다.
• 결과는 JSQ 정책의 최적성이 상당히 줄어든 상태 정보 조건 하에서도 渐近적으로 유지됨을 확인하며, 이는 대규모 시스템에서의 실용성을 높인다.