[논문 리뷰] On Universal Scaling of Distributed Queues under Load Balancing

Xin Liu, Lei Ying|arXiv (Cornell University)|2019. 12. 26.

Advanced Queuing Theory Analysis참고 문헌 27인용 수 14

한 줄 요약

이 논문은 $ \alpha \in [0.5,1) $ 인 무거운 교통 조건에서 분산 대기열 시스템에 대한 일반적인 로드 밸런싱 알고리즘 클래스에 대해, JSQ, I1F, 및 충분한 샘플링을 갖춘 Power-of-d-choices가 점점 더 작은 대기 시간과 거의 최적의 자원 활용도를 달성하는 보편적 스케일링 법칙을 수립한다. 이는 $ O(N^\alpha \log N) $ 수준에서 두 개의 작업을 갖는 서버 수가 스케일링되며, 두 개 이상의 작업을 갖는 서버는 희박하다는 것을 보여준다.

ABSTRACT

This paper considers the steady-state performance of load balancing algorithms in a many-server system with distributed queues. The system has $N$ servers, and each server maintains a local queue with buffer size $b-1,$ i.e. a server can hold at most one job in service and $b-1$ jobs in the queue. Jobs in the same queue are served according to the first-in-first-out (FIFO) order. The system is operated in a heavy-traffic regime such that the workload per server is $λ= 1 - N^{-α}$ for $0.5\leq α<1.$ We identify a set of algorithms such that the steady-state queues have the following universal scaling, where {\em universal} means that it holds for any $α\in[0.5,1)$: (i) the number of of busy servers is $λN-o(1);$ and (ii) the number of servers with two jobs (one in service and one in queue) is $O(N^α\log N);$ and (iii) the number of servers with more than two jobs is $O\left(\frac{1}{N^{r(1-α)-1}} ight),$ where $r$ can be any positive integer independent of $N.$ The set of load balancing algorithms that satisfy the sufficient condition includes join-the-shortest-queue (JSQ), idle-one-first (I1F), and power-of-$d$-choices (Po$d$) with $d\geq N^α\log^2 N.$ We further argue that the waiting time of such an algorithm is near optimal order-wise.

연구 동기 및 목표

• 대규모 데이터 센터의 분산 대기열에서 무거운 교통 조건 하에서 로드 밸런싱 알고리즘의 정적 상태 성능을 특성화하는 것.
• 다양한 무거운 교통 조건을 $ \alpha \in [0.5,1) $로 매개변수화한 경우에도 보편적 스케일링 성질을 달성하는 광범위한 로드 밸런싱 알고리즘의 클래스를 규명하는 것.
• Stein의 방법과 라플라스 드리프트를 이용해 대기열 길이 지표의 모멘트 경계를 수립함으로써, 대기 시간과 차단 확률의 분석을 가능하게 하는 것.
• 이러한 알고리즘 클래스 하에서 두 개 이상의 작업을 갖는 서버 수가 점점 더 무시할 수 없게 되며, 두 개의 작업을 갖는 서버 수가 $ O(N^\alpha \log N) $ 수준으로 스케일링됨을 보여주는 것.
• 대기 시간과 대기 확률이 $ O(\log N / N^{1-\alpha}) $ 임을 보이며, $ N \to \infty $ 일 때 $ \alpha < 1 $ 이면 영으로 수렴함을 보여주는 것.

제안 방법

• Stein의 방법과 라플라스 드리프트를 통한 상태공간 수축(Staet-Space Collapse, SSC)을 이용해 최소 $ i $개의 작업을 갖는 서버 수의 모멘트 경계를 유도한다.
• JSQ, I1F, 및 $ d \geq N^\alpha \log^2 N $ 인 Power-of-$ d $-choices를 포함하는, 로드 밸런싱 알고리즘에 대한 충분한 조건(기호 $ \Pi $ 로 표기)을 적용한다.
• 모든 $ i $ 에 대해 $ S_i $ 가 최소 $ i $개의 작업을 갖는 서버 비율일 때, $ \max\left\{ \sum_{i=1}^b S_i - 1 - \frac{k \log N}{N^{1-\alpha}}, 0 \right\} $ 의 $ r $-번째 모멘트에 대한 상한을 유도한다.
• Little의 법칙과 작업 보존 성질을 활용해 대기열 길이 모멘트와 기대 대기 시간 및 차단 확률을 연결한다.
• 대기열 길이 및 차단 사건의 尾확률을 제어하기 위해 마르코프 부등식과 조건부 기대값 경계를 사용한다.
• 모멘트 경계와 확률적 농도 집합 원리의 조합을 통해 대기 시간과 대기 확률에 대한 점점 더 큰 경계를 수립한다.

실험 결과

연구 질문

• RQ1 무거운 교통 조건에서 $ \alpha \in [0.5,1) $ 인 경우 분산 대기열의 정적 상태 행동은 어떻게 되는가?
• RQ2 시스템 크기 $ N $ 과 무관하게 다양한 $ \alpha \in [0.5,1) $ 에서 보편적 스케일링을 달성하는 로드 밸런싱 알고리즘은 무엇인가?
• RQ3 두 개의 작업을 갖는 서버 수는 $ N $ 에 따라 어떻게 스케일링되며, 두 개 이상의 작업을 갖는 서버의 점점 더 작은 빈도는 어떻게 되는가?
• RQ4 식별된 알고리즘 클래스 하에서 대기 시간과 대기 확률의 점점 더 큰 행동은 어떻게 되는가?
• RQ5 대기열 길이 지표의 모멘트 경계는 대기 시간과 차단 확률에 대한 경계로 어떻게 번역되는가?

주요 결과

• 사용 중인 서버 수는 $ \lambda N - o(1) $ 이며, 이는 $ \Pi $ 내의 어떤 알고리즘으로도 거의 완전한 활용도를 의미한다.
• 정확히 두 개의 작업을 갖는 서버 수는 $ O(N^\alpha \log N) $ 수준으로 스케일링되며, 이는 대기 지연의 주요 기여 요소이다.
• 두 개 이상의 작업을 갖는 서버 수는 임의의 양의 정수 $ r $ 에 대해 $ O\left( \frac{1}{N^{r(1-\alpha)-1}} \right) $ 이며, 이는 점점 더 무시할 수 있음을 의미한다.
• 대기 확률과 평균 대기 시간은 모두 $ O\left( \frac{\log N}{N^{1-\alpha}} \right) $ 이며, $ N \to \infty $ 일 때 $ \alpha < 1 $ 이면 영으로 수렴한다.
• 결과는 JSQ, I1F, 및 $ d \geq N^\alpha \log^2 N $ 인 Power-of-$ d $-choices를 포함하는 클래스 $ \Pi $ 전반에 보편적이다.
• 반드시 $ \alpha = 0.5 $ 에서 발생하는 단계 전이, 즉 Halfin-Whitt 조건은 분산 대기열 시스템에서도 단일 대기열 다수 서버 시스템과 유사하게 확인된다.