[논문 리뷰] Power-of-$d$-Choices with Memory: Fluid Limit and Optimality

Jonatha Anselmi, François Dufour|arXiv (Cornell University)|2018. 02. 19.

Advanced Queuing Theory Analysis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 디스patcher가 샘플된 서버의 최신 상태를 기억하여 가장 경량의 서버로 작업을 라우팅하는 메모리 강화형 파wr-오브-d-체이오스 부하 균형 알고리즘을 제안한다. 수렴적 최적성(Asymptotic optimality)을 증명한다: 시스템 부하 λ < 1 − 1/d 이면 유체 한계에서 모든 작업이 유휴 서버로 라우팅되며, 그렇지 않으면 큐 길이가 ⌈−log(1−λ)/log(λd+1)⌉로 엄격히 유계화된다. 이는 메모리가 없는 버전에 비해 성능이 크게 향상된다.

ABSTRACT

In multi-server distributed queueing systems, the access of stochastically arriving jobs to resources is often regulated by a dispatcher, also known as load balancer. A fundamental problem consists in designing a load balancing algorithm that minimizes the delays experienced by jobs. During the last two decades, the power-of-$d$-choice algorithm, based on the idea of dispatching each job to the least loaded server out of $d$ servers randomly sampled at the arrival of the job itself, has emerged as a breakthrough in the foundations of this area due to its versatility and appealing asymptotic properties. In this paper, we consider the power-of-$d$-choice algorithm with the addition of a local memory that keeps track of the latest observations collected over time on the sampled servers. Then, each job is sent to a server with the lowest observation. We show that this algorithm is asymptotically optimal in the sense that the load balancer can always assign each job to an idle server in the large-system limit. This holds true if and only if the system load $λ$ is less than $1-\frac{1}{d}$. If this condition is not satisfied, we show that queue lengths are tightly bounded by $\left\lceil - \frac{ \log (1-λ)}{\log (λd +1)} ight ceil$. This is in contrast with the classic version of the power-of-$d$-choice algorithm, where at the fluid scale a strictly positive proportion of servers containing $i$ jobs exists for all $i\ge 0$, in equilibrium. Our results quantify and highlight the importance of using memory as a means to enhance performance in randomized load balancing.

연구 동기 및 목표

• 고부하 상황에서 무작위 부하 균형의 성능 격차를 메모리 도입을 통해 해결하기 위해 파워-오브-d-체이오스 프레임워크에 메모리를 통합한다.
• 메모리 도입이 동적 스케일링 없이도 유체 최적성(즉, 대규모 시스템에서 모든 작업을 유휴 서버로 라우팅)을 달성할 수 있는지 분석한다.
• 메모리가 고부하 환경에서 큐 길이 유계화 및 시스템 안정성에 미치는 영향을 정량화한다.
• 상수 d를 유지하는 메모리 보강 부하 균형 정책에 대해 이론적 유체 한계 및 최적성 결과를 수립한다.
• 기존의 메모리가 없는 파워-오브-d-체이오스와 비교하여, 특히 큐 길이 및 안정성 측면에서 신규 정책의 성능을 분석한다.

제안 방법

• 저자들은 확산 스케일링 하에서 평균장 유체 한계를 사용하여, i개의 작업을 가진 서버 비율의 변화를 분석한다.
• 디스패처는 각 작업 도착 시에 d개의 서버를 샘플링하여 가장 경량 서버의 최신 관측치를 로컬 메모리에 유지한다.
• 유체 한계는 시간 스케일링된 과정과 마틴게일 추론을 사용하여 도출되며, 피드백은 푸시 기반 메커니즘을 통해 수집된다고 가정한다.
• 핵심 기술 도구로 아즈마–후이딩 부등식과 보렐–칸텔리 보조정리를 사용하여 경험 측도의 유체 한계 수렴을 증명한다.
• 유체 한계가 Rj(t), Rj−1(t), Rj−2(t)를 포함하는 재귀 관계를 만족함을 보여주는 데 의존하며, 메모리 업데이트 규칙에서 유도된 경계 조건이 적용된다.

실험 결과

연구 질문

• RQ1 메모리 보강 파워-오브-d-체이오스 알고리즘이 유체 최적성(즉, 대규모 시스템에서 모든 작업을 유휴 서버로 라우팅)을 달성할 수 있는가?
• RQ2 메모리 강화 알고리즘이 모든 작업을 유휴 서버로 할당하는 데 성공하는 임계 부하 임계값 λ는 얼마인가?
• RQ3 기존의 메모리가 없는 파워-오브-d-체이오스에 비해 메모리 도입이 큐 길이 尾행동에 어떤 영향을 미치는가?
• RQ4 메모리 강화 알고리즘이 큐 길이 유계화 측면에서 고전적 파워-오브-d-체이오스를 초월하는 조건은 무엇인가?
• RQ5 상수 d 조건 하에서, 메모리 보강 시스템의 유체 한계는 안정적이고 해석 가능할까?

주요 결과

• 메모리 강화 파워-오브-d-체이오스 알고리즘은 시스템 부하 λ가 1 − 1/d 미만일 경우, 대규모 시스템에서 모든 작업이 유휴 서버로 라우팅되는 유체 최적성을 달성한다.
• λ ≥ 1 − 1/d 일 경우, 최대 큐 길이는 ⌈−log(1−λ)/log(λd+1)⌉로 엄격히 유계화되며, 이는 메모리가 없는 경우보다 현저히 작다.
• 메모리가 없는 파워-오브-d-체이오스와 달리, 모든 i ≥ 0에 대해 항상 일정 비율의 서버가 i개의 작업을 가진다는 지속적인 부하 불균형이 메모리 보강 버전에서는 제거된다.
• 유체 한계는 Rj(t), Rj−1(t), Rj−2(t)를 포함하는 재귀 방정식으로 제어되며, 메모리 업데이트 규칙이 꼬리 부분의 유체 역학을 0 부하로 수축시킨다.
• 유체 한계 분석은 메모리 메커니즘이 고전적 파워-오브-d-체이오스에서 관찰되는 지속적인 큐잉 현상을 피할 수 있도록 해주며, 특히 안정성 임계점 근처에서 두드러진다.
• 결과적으로, 상수 d 조건 하에서도 메모리가 유체 최적성을 달성할 수 있음을 보여주며, 이는 동적 d(N) 스케일링 대비 확장 가능하고 통신 효율적인 대안이 된다.