[논문 리뷰] Asymptotically Optimal Load Balancing in Large-scale Heterogeneous Systems with Multiple Dispatchers

Xingyu Zhou, Ness B. Shroff외 1명|arXiv (Cornell University)|2020. 02. 20.

Advanced Queuing Theory Analysis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 여러 디스패처를 갖는 대규모 이질적 시스템에서 로드 밸런싱을 위한 로컬 추정 기반(LED) 프레임워크를 제안한다. 여기서 디스패처들은 로컬이고, 가능하면 오래된 큐 길이 추정치를 사용하여 작업을 라우팅한다. 이 프레임워크는 중량 교통에서 스루풋 최적성과 지연 최적성을 동시에 확보하기 위한 충분조건을 확립하여, 지연 정보가 지연된 상황에서 지연 최적성 달성을 위한 열린 문제를 해결하고, 이종적이고 다중 디스패처 시스템에 대해 새로운 저비용, 지연 최적 정책을 가능하게 한다.

ABSTRACT

We consider the load balancing problem in large-scale heterogeneous systems with multiple dispatchers. We introduce a general framework called Local-Estimation-Driven (LED). Under this framework, each dispatcher keeps local (possibly outdated) estimates of queue lengths for all the servers, and the dispatching decision is made purely based on these local estimates. The local estimates are updated via infrequent communications between dispatchers and servers. We derive sufficient conditions for LED policies to achieve throughput optimality and delay optimality in heavy-traffic, respectively. These conditions directly imply delay optimality for many previous local-memory based policies in heavy traffic. Moreover, the results enable us to design new delay optimal policies for heterogeneous systems with multiple dispatchers. Finally, the heavy-traffic delay optimality of the LED framework directly resolves a recent open problem on how to design optimal load balancing schemes using delayed information.

연구 동기 및 목표

• 다중 디스패처를 갖는 대규모 이종적 시스템에서 로드 밸런싱의 이론적 지연 성능 보장을 위한 부족함을 보완하기 위해.
• 메시지 오버헤드를 최소화하기 위해 오직 지연된 로컬 정보만을 사용하는 확장 가능한 로드 밸런싱 프레임워크를 설계하기 위해.
• 오래된 큐 상태 정보만을 사용할 때 중량 교통에서 지연 최적성을 달성하는 열린 문제를 해결하기 위해.
• 기존의 로컬 메모리 기반 정책(예: LSQ)을 일반화하고 새로운 지연 최적 정책의 체계적 설계를 가능하게 하기 위해.
• LED 프레임워크 하에서 스루풋과 지연 최적성을 보장하는 충분조건을 제공하기 위해.

제안 방법

• 각 디스패처가 서버 큐 길이의 로컬이고, 가능하면 오래된 추정치를 유지하는 로컬 추정 기반(LED) 프레임워크를 제안한다.
• 디스패처와 서버 간의 희박한 통신을 통해 로컬 추정치를 업데이트하여 메시지 오버헤드를 최소화한다.
• 중량 교통에서 스루풋과 지연 최적성을 보장하는 업데이트 전략에 대한 충분조건을 유도한다.
• 상태공간 축소와 리아푸노프 드리프트 분석을 사용하여 이러한 조건 하에서의 중량 교통 지연 최적성을 증명한다.
• 기존 정책인 LSQ 등을 일반화하고, 이들이 충분조건를 만족함을 보여 지연 최적성을 상속함을 입증한다.
• 코시-슈바르츠 부등식과 모멘트 유계성 논증을 사용하여 안정 상태에서 큐 벡터와 불균형 벡터의 기대 곱을 유계로 제한한다.

실험 결과

연구 질문

• RQ1 다중 디스패처를 갖는 이종적 시스템에서 로드 밸런싱의 지연 성능 보장을 설정할 수 있는가?
• RQ2 오래된 로컬 정보만을 사용하여 중량 교통에서 지연 최적성을 달성할 수 있는가?
• RQ3 LED 프레임워크에서 스루풋과 지연 최적성을 보장하는 업데이트 전략에 대한 조건은 무엇인가?
• RQ4 기존의 로컬 메모리 기반 정책은 어떻게 일반화하고, LED 프레임워크 하에서 최적임을 입증할 수 있는가?
• RQ5 이종적이고 다중 디스패처 시스템에 대해 새로운 저비용, 지연 최적 정책을 어떻게 시스템적으로 설계할 수 있는가?

주요 결과

• LED 프레임워크는 업데이트 전략에 대한 온건한 조건 하에서 스루풋 최적성을 달성하여 고도의 서버 활용도를 보장한다.
• 중량 교통에서 지연 최적성을 보장하는 충분조건를 도출하여, 최근의 지연 정보가 있는 로드 밸런싱에서의 열린 문제를 해결한다.
• LSQ를 포함한 많은 기존의 로컬 메모리 기반 정책들이 충분조건를 만족하며, 따라서 중량 교통에서 지연 최적임을 입증한다.
• 프레임워크를 통해 이종적 시스템에서 디스패칭 지연가 0이고 메시지 오버헤드가 낮은 새로운 지연 최적 정책의 설계가 가능해진다.
• 중량 교통 지연 최적성은 상태공간 축소와 모멘트 유계성 논증을 통해 증명되며, 시스템 부하가 용량에 접근함에 따라 핵심 성능 지표가 0으로 수렴함을 보여준다.
• 프레임워크는 로컬 메모리 사용과 통신 오버헤드 간의 트레이드오프를 탐색하는 체계적인 방법을 제공한다.