[논문 리뷰] Load Balancing in the Non-Degenerate Slowdown Regime

Varun Gupta, Neil Walton|arXiv (Cornell University)|2017. 07. 06.

Advanced Queuing Theory Analysis참고 문헌 34인용 수 6

한 줄 요약

이 논문은 시스템 크기가 증가함에 따라 여유 서버 수가 고정되는 다수의 서버 점점 커지는 점근적 프레임워크인 비퇴화적 느려짐(NDS) 영역에서 Join-the-Shortest-Queue(JSQ) 부하 균형 정책의 새로운 분석을 제안한다. JSQ에 대한 확산 근사식을 유도하고, JSQ와 중앙집중식 큐잉 간의 15% 성능 격차를 정량화하며, 기존 정책들(예: 2-선택의 힘)과 비교해 통신 오버헤드를 크게 줄인 저비용 정책인 Idle-One-First(I1F)를 제안한다. 이 정책은 점근적으로 JSQ의 성능을 그대로 재현한다.

ABSTRACT

We analyse Join-the-Shortest-Queue in a contemporary scaling regime known as the Non-Degenerate Slowdown regime. Join-the-Shortest-Queue (JSQ) is a classical load balancing policy for queueing systems with multiple parallel servers. Parallel server queueing systems are regularly analysed and dimensioned by diffusion approximations achieved in the Halfin-Whitt scaling regime. However, when jobs must be dispatched to a server upon arrival, we advocate the Non-Degenerate Slowdown regime (NDS) to compare different load-balancing rules. In this paper we identify novel diffusion approximation and timescale separation that provides insights into the performance of JSQ. We calculate the price of irrevocably dispatching jobs to servers and prove this to within 15% (in the NDS regime) of the rules that may manoeuvre jobs between servers. We also compare ours results for the JSQ policy with the NDS approximations of many modern load balancing policies such as Idle-Queue-First and Power-of-$d$-choices policies which act as low information proxies for the JSQ policy. Our analysis leads us to construct new rules that have identical performance to JSQ but require less communication overhead than power-of-2-choices.

연구 동기 및 목표

• 기존의 프레임워크보다 부하 균형 정책 간의 차이를 더 잘 드러내는 비표준 점근적 프레임워크인 비퇴화적 느려짐(NDS) 영역에서 Join-the-Shortest-Queue(JSQ)의 성능를 분석하는 것.
• 최적의 디스패치(JSQ)와 최적의 풀링(중앙집중식 큐잉) 간의 성능 격차, 특히 평균 응답 시간 측면에서의 격차를 정량화하는 것.
• 기존 정책들(예: 2-선택의 힘)과 비교해 통신 오버헤드를 크게 줄인 저정보 디스패치 규칙을 설계하여 JSQ와 유사한 성능을 달성하는 것.
• NDS 영역이 기존의 무거운 교통 또는 하프린-위트 영역과 달리 부하 균형 정책 간의 의미 있는 차이를 드러내기에 더 적합한 이유를 설명하는 것.

제안 방법

• NDS 영역에서 JSQ 정책에 대한 확산 근사식을 적용하며, 이는 서버 수 $k \to \infty$일 때 여유 서버 수가 고정되어 있음을 정의한다.
• 스토크است릭 평균화 원리, 시간 스케일 분리 및 커플링 기법을 사용해 JSQ 및 관련 정책 하에서 시스템의 점근적 행동을 분석한다.
• JSQ의 확산 극한에 대한 정적 분포를 유도하고, 이는 이동 함수 기반의 확률적 지배 관계를 통해 다른 정책들과 비교한다.
• 마팅게일 함수 중심 극한 정리를 적용하여 스케일링된 큐잉 과정이 확산 과정으로 수렴함을 정당화한다.
• Idle-One-First(I1F) 정책을 도입하고 분석하며, 이는 점근적으로 JSQ와 동일한 정적 분포를 가지며, 이는 동일한 평균 응답 시간을 의미한다.
• 스토크است릭 순서와 불변 측도 분석을 통해 NDS 영역에서 JSQ, I1F, IQF 및 Power-of-$d$-choices 정책의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 Non-Degenerate Slowdown(NDS) 영역에서 Join-the-Shortest-Queue(JSQ) 정책의 성능가 중앙집중식 큐잉과 어떻게 비교되는가?
• RQ2 저비용 부하 균형 정책이 통신 비용을 최소화하면서도 JSQ와 점근적으로 동일한 성능을 달성할 수 있는가?
• RQ3 왜 NDS 영역은 기존의 점근적 프레임워크(예: Halfin-Whitt 또는 Heavy Traffic)보다 부하 균형 정책 간의 차이를 더 잘 드러내는가?
• RQ4 NDS 영역 하에서 JSQ와 중앙집중식 큐잉 간의 평균 응답 시간 측면에서 정확한 성능 격차는 얼마인가?
• RQ5 Idle-One-First(I1F) 정책은 정적 분포 및 시스템 성능 측면에서 JSQ 및 기타 저정보 정책과 어떻게 비교되는가?

주요 결과

• NDS 영역에서 JSQ의 평균 응답 시간은 중앙집중식 $M/M/k$ 큐보다 최대 15% 높을 뿐이며, 이는 작업을 풀링하거나 이동시키지 못하는 데서 비롯되는 비용을 정량화한 것이다.
• Idle-One-First(I1F) 정책은 Power-of-2-choices보다 훨씬 적은 통신을 요구하지만, 점근적으로 JSQ와 동일한 정적 분포를 가지며, 이는 동일한 평균 응답 시간을 의미한다.
• NDS 영역은 부하 균형 정책 간의 명확한 차이를 드러내며, 반면 Halfin-Whitt 및 Heavy Traffic 영역에서는 JSQ와 중앙집중식 큐잉이 구분되지 않는다.
• NDS 영역에서 JSQ의 확산 정적 분포는 특정 이동 함수를 가진 랑주반 확산을 통해 기술되며, 그 불변 측도는 명시적으로 유도된다.
• 스토크است릭 지배성에 기반한 이동 함수의 지배성으로 인해 성능 순서 $\pi_{CQ} \leq_{st} \pi_{JSQ} =_{st} \pi_{I1F} \leq_{st} \pi_{IQF}$ 가 성립하며, 이는 정책 간 상대적 성능를 확인한다.
• 분석 결과, Idle-Queue-First(IQF) 정책의 평균 응답 시간은 중앙집중식 큐잉보다 최대 100% 높을 수 있음을 확인하였으며, 이는 I1F와 같은 정교한 저비용 대안의 필요성을 강조한다.