[논문 리뷰] Load Balancing in Large-Scale Systems with Multiple Dispatchers

Mark van der Boor, Sem Borst외 1명|arXiv (Cornell University)|2017. 06. 04.

Advanced Queuing Theory Analysis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 다수의 디스패처를 가진 대규모 시스템에 대해 두 가지 향상된 Join-the-Idle-Queue (JIQ) 로드 밸런싱 기법을 제안한다: 비균일한 토큰 분포와 주기적인 토큰 교환. 두 메커니즘 모두 어떤 부분적 과부하 상태이든, 비균형적인 디스패처 워크로드가 존재하더라도, 기존 JIQ가 부하 불균형으로 실패할 수 있는 상황에서도, 다수의 서버가 존재하는 극한에서 블로킹과 대기 시간이 모두 0이 되는 것을 달성한다.

ABSTRACT

Load balancing algorithms play a crucial role in delivering robust application performance in data centers and cloud networks. Recently, strong interest has emerged in Join-the-Idle-Queue (JIQ) algorithms, which rely on tokens issued by idle servers in dispatching tasks and outperform power-of-$d$ policies. Specifically, JIQ strategies involve minimal information exchange, and yet achieve zero blocking and wait in the many-server limit. The latter property prevails in a multiple-dispatcher scenario when the loads are strictly equal among dispatchers. For various reasons it is not uncommon however for skewed load patterns to occur. We leverage product-form representations and fluid limits to establish that the blocking and wait then no longer vanish, even for arbitrarily low overall load. Remarkably, it is the least-loaded dispatcher that throttles tokens and leaves idle servers stranded, thus acting as bottleneck. Motivated by the above issues, we introduce two enhancements of the ordinary JIQ scheme where tokens are either distributed non-uniformly or occasionally exchanged among the various dispatchers. We prove that these extensions can achieve zero blocking and wait in the many-server limit, for any subcritical overall load and arbitrarily skewed load profiles. Extensive simulation experiments demonstrate that the asymptotic results are highly accurate, even for moderately sized systems.

연구 동기 및 목표

• 디스패처 워크로드가 비대칭일 경우 표준 Join-the-Idle-Queue (JIQ) 기법이 대규모 시스템에서 성능 저하를 겪는 문제를 해결한다.
• 가장 경량의 디스패처가 토큰 흐름을 억제함으로써 블로킹을 일으키며, 이로 인해 빈 상태의 서버가 방치되고 블로킹 및 대기 시간이 발생함을 규명한다.
• 임의의 부하 비율과 부분적 과부하 상태에서도 점근적 최적성(블로킹 및 대기 시간이 0)을 복원하는 두 가지 확장 가능한 개선 사항을 설계한다.
• 제품형 및 유체한계 분석을 사용하여 새로운 기법에 대한 이론적 보장을 확립함으로써, 실세계의 데이터 센터 및 클라우드 네트워크에의 적용 가능성을 보장한다.

제안 방법

• 블로킹 상황을 닫힌 재해석 네트워크로 모델링하여 블로킹 확률에 대한 정확한 제품형 분포를 유도한다.
• 유체한계 기법을 적용하여 다수의 서버가 존재하는 시스템에서의 행동을 분석함으로써, 성능이 총 부하와 최소 디스패처 부하에 의존함을 보여준다.
• 개선 사항 1 도입: 디스패처 부하 비례로 비균일한 토큰 분포를 적용하여, 모든 디스패처에서 균형 잡힌 토큰 가시성을 확보한다.
• 개선 사항 2 도입: 지수 분포를 가진 주기적으로 디스패처 간에 토큰을 교환함으로써, 부하 인식 기반의 토큰 재분배를 가능하게 한다.
• 점근적 분석을 통해, 두 개선 사항 모두 서버 수가 증가함에 따라 블로킹 및 대기 시간이 0이 되는 것을 증명한다.
• 다양한 시스템 크기와 부하 구성에서 광범위한 시뮬레이션을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 왜 표준 JIQ 기법은 전체 시스템 부하가 매우 낮더라도, 디스패처 부하가 비균형일 경우 점근적으로 블로킹 및 대기 시간이 0이 되지 못하는가?
• RQ2 가장 경량의 디스패처가 JIQ 기법에서 블로킹 원인이 되는 이유는 무엇이며, 이는 빈 서버의 가시성에 어떤 영향을 미치는가?
• RQ3 임의의 부하 비율 하에서 다수의 서버가 존재하는 극한에서 대기 시간을 0으로 복원하기 위해 토큰 분포를 조정할 수 있는가?
• RQ4 디스패처 간 주기적인 토큰 교환은 어떤 부분적 과부하 프로파일이라도 블로킹 및 대기 시간을 제거하는 데에 충분한가?
• RQ5 유체한계 근사치는 중간 크기의 시스템에서 시스템 성능을 얼마나 정확하게 예측하는가?

주요 결과

• 디스패처 부하가 비균형일 경우, 조건부 과부하 상태가 아니더라도, 표준 JIQ 기법은 다수의 서버가 존재하는 극한에서 블로킹 및 대기 시간이 0이 되지 못한다.
• 가장 경량의 디스패처가 토큰을 축적함으로써 블로킹을 일으키며, 이로 인해 더 무거운 부하를 지닌 디스패처가 빈 서버를 인식하지 못하고, 결과적으로 빈 서버가 사용되지 않는 현상이 발생한다.
• 개선 사항 1—디스패처 부하 비례로 비균일한 토큰 분포—모든 부분적 과부하 상태와 임의의 부하 비율 하에서도 블로킹 및 대기 시간이 0이 되는 것을 달성한다.
• 개선 사항 2—충분히 높은 비율로 주기적으로 토큰을 교환함—모든 부분적 과부하 프로파일 하에서 다수의 서버가 존재하는 극한에서 블로킹 및 대기 시간이 0이 되는 것을 달성한다.
• 시뮬레이션 결과는, 유체한계 근사치가 중간 크기의 시스템(예: N=1000개 서버)에서도 매우 정확한 것으로 확인되었다.
• 제안된 개선 사항은 통신 오버헤드를 낮게 유지하며, 각 작업당 상수 또는 무시할 수 없는 추가 메시지만 필요로 하여 원래 JIQ 기법의 확장성 유지한다.