[논문 리뷰] Designing Low-Complexity Heavy-Traffic Delay-Optimal Load Balancing Schemes: Theory to Algorithms

Xingyu Zhou, Fei Wu외 3명|arXiv (Cornell University)|2017. 10. 12.

Advanced Queuing Theory Analysis참고 문헌 9인용 수 8

한 줄 요약

이 논문은 저복잡도의 헤비트래픽 지연 최적화 로드 밸런싱 정책을 설계하기 위한 통합 분석 프레임워크를 제안한다. 제안된 Join-Below-Threshold (JBT-d)는 동적으로 디스패처의 디스패칭 임계값을 조정하는 새로운 풀 기반 정책으로, 최소한의 메시지 오버헤드를 유지하면서도 JSQ 성능에 근접한 지연 성능을 달성한다. 이는 JIQ의 단순성과 동일한 수준을 유지하면서도 지연 최적화 성능을 확보한다.

ABSTRACT

We establish a unified analytical framework for load balancing systems, which allows us to construct a general class $Π$ of policies that are both throughput optimal and heavy-traffic delay optimal. This general class $Π$ includes as special cases popular policies such as join-shortest-queue and power-of-$d$, but not the join-idle-queue (JIQ) policy. In fact, we show that JIQ, which is not in $Π$, is actually not heavy-traffic delay optimal. Owing to the significant flexibility offered by class $Π$, we are able to design a new policy called join-below-threshold (JBT-d), which maintains the simplicity of pull-based policies such as JIQ, but updates its threshold dynamically. We prove that JBT-$d$ belongs to the class $Π$ when the threshold is picked appropriately and thus it is heavy-traffic delay optimal. Extensive simulations show that the new policy not only has a low complexity in message rates, but also achieves excellent delay performance, comparable to the optimal join-shortest-queue in various system settings.

연구 동기 및 목표

• 헤비트래픽 지연 최적성과 저복잡도를 동시에 확보한 풀 기반 로드 밸런싱 정책의 부족을 해결한다.
• 기존의 풀 기반 정책인 JIQ가 중간 수준의 부하에서 양호한 성능을 보임에도 불구하고 헤비트래픽 지연 최적이 되지 못하는 이유를 규명한다.
• 헤비트래픽에서 스루풋과 지연 최적성을 확보하는 광범위한 정책 클래스(클래스 Π)를 특성화하기 위한 일반적인 분석 프레임워크를 개발한다.
• 디스패처가 메시지 수신 없이도 지연 최적성을 확보할 수 있도록, 저메시지율과 0의 디스패칭 지연을 유지하면서도 지연 최적성을 달성하는 새로운 정책 JBT-d를 설계한다.
• 다양한 시스템 구성과 트래픽 패턴에서의 광범위한 시뮬레이션을 통해 JBT-d가 근사 최적의 지연 성능을 달성함을 입증한다.

제안 방법

• 스칼라 곱 기반의 충분조건을 유도하여, 스루풋과 헤비트래픽 지연 최적성을 보장하는 이론적 기반을 마련하고, 이를 클래스 Π의 이론적 토대로 삼는다.
• 새로운 리아푸노프-드리프트 분석을 통해 JIQ가 동일한 서버 환경에서도 헤비트래픽 지연 최적이 되지 않음을 증명한다.
• JIQ의 동적 임계값 확장으로 JBT-d를 설계하며, 디스패처는 시간에 따라 변하는 임계값 이하의 큐 길이를 가진 서버에 작업을 디스패칭한다.
• 적절한 임계값 선택을 통해 JBT-d가 클래스 Π에 속하도록 보장함으로써 지연 최적성을 보장한다.
• 다양한 도착 및 서비스 프로세스(Poisson, 버스트형)와 시스템 크기에서 JBT-d를 구현하고 시뮬레이션하여 성능 및 복잡도를 검증한다.
• 다양한 트래픽 부하에서 응답 시간과 메시지율 측면에서 JSQ, JIQ, 파워오브-d, SQ(d) 정책과 JBT-d를 비교한다.

실험 결과

연구 질문

• RQ1 풀 기반 로드 밸런싱 정책이 저메시지 오버헤드와 0의 디스패칭 지연을 유지하면서도 헤비트래픽 지연 최적이 될 수 있는가?
• RQ2 왜 널리 사용되는 JIQ 정책은 실용적 성능은 양호하지만 헤비트래픽에서 지연 최적이 되지 못하는가?
• RQ3 어떤 일반적인 구조적 조건이 스루풋 최적성과 헤비트래픽 지연 최적성을 동시에 보장하는가?
• RQ4 풀 기반 정책에서 동적 임계값 메커니즘을 통해 지연 최적성을 달성하면서도 단순성을 유지할 수 있는가?
• RQ5 다양한 시스템 부하와 트래픽 패턴에서 제안된 JBT-d 정책의 성능은 JSQ 및 파워오브-d와 같은 푸시 기반 최적 정책과 비교해 어떻게 되는가?

주요 결과

• 새로운 리아푸노프-드리프트 분석을 통해 JIT는 동일한 서버 환경에서도 헤비트래픽 지연 최적이 되지 않음을 입증하였다.
• 제안된 클래스 Π는 JSQ와 파워오브-d를 특수 케이스로 포함하지만 JIQ는 포함하지 않으며, 이는 JIQ가 헤비트래픽에서 본질적인 한계를 지닌다는 것을 확인한다.
• JBT-d는 Poisson 및 버스트형 도착과 서비스를 포함한 모든 테스트 구성에서 JSQ와 유사한 지연 성능을 달성한다.
• JBT-d는 높은 부하에서 메시지율을 1건당 미만으로 유지하며, 예를 들어 T=700일 때 0.363건의 메시지당 1건의 작업을 기록하여 JSQ의 20건의 메시지당 1건보다 훨씬 낮은 오버헤드를 확보한다.
• 10대의 동일한 서버에서 Poisson 도착과 일정한 서비스 조건 하에 T=700일 때 JBT-10은 평균 응답 시간을 12.96초로 줄였으며, 이는 JSQ의 9.96초에 근접한 성능이다.
• 버스트형 도착과 Poisson 서비스 조건 하에서 T=500일 때 JBT-10은 응답 시간 27.8초를 기록했고, JIQ의 53.78초 대비 48% 향상된 성능을 보였다.