[논문 리뷰] Distributed Dispatching in the Parallel Server Model

Guy Goren, Shay Vargaftik외 1명|arXiv (Cornell University)|2020. 01. 01.

Cloud Computing and Resource Management인용 수 1

한 줄 요약

이 논문은 다중 디스패처 병렬 서버 시스템을 위한 새로운 로드 밸런싱 정책인 토네이도 워터 필링(TWF)을 제안한다. TWF는 떼를 이루는 행동(herd behavior)을 방지하기 위해 다른 디스패처의 존재를 명시적으로 고려한다. 시간 스탬프가 부여된 분산 통신을 통해 완전하거나 부분적인 큐 길이 정보를 통합함으로써, TWF는 응답 시간, 특히 尾_latency를 크게 감소시킨다. 이는 기존의 LSQ 및 두 개의 선택 정책과 비교해도 높은 부하 조건에서도 슈퍼어리어어지게 성능을 냅니다.

ABSTRACT

With the rapid increase in the size and volume of cloud services and data centers, architectures with multiple job dispatchers are quickly becoming the norm. Load balancing is a key element of such systems. Nevertheless, current solutions to load balancing in such systems admit a paradoxical behavior in which more accurate information regarding server queue lengths degrades performance due to herding and detrimental incast effects. Indeed, both in theory and in practice, there is a common doubt regarding the value of information in the context of multi-dispatcher load balancing. As a result, both researchers and system designers resort to more straightforward solutions, such as the power-of-two-choices to avoid worst-case scenarios, potentially sacrificing overall resource utilization and system performance. A principal focus of our investigation concerns the value of information about queue lengths in the multi-dispatcher setting. We argue that, at its core, load balancing with multiple dispatchers is a distributed computing task. In that light, we propose a new job dispatching approach, called Tidal Water Filling, which addresses the distributed nature of the system. Specifically, by incorporating the existence of other dispatchers into the decision-making process, our protocols outperform previous solutions in many scenarios. In particular, when the dispatchers have complete and accurate information regarding the server queue lengths, our policies significantly outperform all existing solutions.

연구 동기 및 목표

• 정확한 큐 길이 정보가 떼를 이루는 행동으로 인해 성능이 악화되는 다중 디스패처 로드 밸런싱의 역설을 해결하기 위해.
• 협력에 의한 병목 현상에 시달리지 않으면서도 분산 정보를 효과적으로 활용하는 로드 밸런싱 정책을 설계하기 위해.
• 적절히 조율된 경우, 서버 큐 상태에 대한 완전한 정보가 시스템 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 통신 비용 제약 조건이 있는 실세계 시스템에서 부분적 또는 희소한 정보를 효율적으로 사용할 수 있는 방법을 탐색하기 위해.

제안 방법

• 서버 큐 상태에 대한 공유 지식 기반으로 디스패처들이 공동으로 최적화하는 방식을 모델링하는 토네이도 워터 필링(TWF) 정책을 제안한다.
• 디스패처와 서버가 시간 스탬프가 부여된 로컬 배열을 유지하는 국지적 uTWF(L-uTWF) 및 uTWFts를 도입한다.
• 시간 스탬프와 배열 병합을 활용해 통신 오버헤드를 최소화하면서도 디스패처와 서버 간에 최신이고 일관된 큐 길이 데이터를 유지한다.
• 링크 수립 시 큐 상태 정보를 병합하는 분산 통신 프로토콜을 활용해 확장 가능하고 시기적절한 업데이트를 가능하게 한다.
• 응답 시간의 CCDF 및 尾_latency 메트릭을 사용해 높은 부하 조건(ρ = 0.99)에서 성능을 평가한다.
• 정보 파라미터 η를 변화시키며 TWF의 다양한 변종을 최신 기술인 LSQ-Sample 및 JSQ(d)와 비교한다.

실험 결과

연구 질문

• RQ1 다중 디스패처 시스템에서 정확한 큐 길이 정보가 떼를 이루는 행동으로 인해 로드 밸런싱 성능을 떨어뜨릴 수 있는가?
• RQ2 협력에 의한 병목 현상 없이 완전한 큐 길이 정보를 효과적으로 활용할 수 있는 방법이 있는가?
• RQ3 부분 정보 설정에서 정보 가용성(η)이 증가함에 따라 TWF의 성능은 어떻게 스케일링되는가?
• RQ4 통신 비용 제약 조건 하에서 분산된 시간 스탬프 기반 통신 프로토콜이 로드 밸런싱 성능을 향상시킬 수 있는가?
• RQ5 TWF 기반 정책은 LSQ 및 두 개의 선택 정책과 비교해 尾_latency 및 시스템 이용률 측면에서 어떻게 성능을 내는가?

주요 결과

• 디스패처가 서버 큐 길이에 대해 완전한 정보를 가진 경우, TWF는 알려진된 모든 로드 밸런싱 정책보다 뚜렷이 뛰어난 성능을 보인다.
• 정보 파라미터 η가 증가할수록 응답 시간이 단조롭게 향상되며, 정확한 정보를 적절히 사용할 경우 성능 향상이 가능함을 보여준다.
• 디스패처와 서버 양쪽에서 시간 스탬프가 부여된 큐 정보를 유지하는 uTWFts는 L-uTWF 및 LSQ-Sample보다 뛰어나며, 특히 η 값이 높을수록 두각을 나타낸다.
• η = 0.1일 때 L-uTWF는 이미 LSQ-Sample과 경쟁 가능한 성능을 보이며, 부분 정보로도 조기에 성과를 얻을 수 있음을 시사한다.
• LSQ-Sample의 성능은 η 증가에 따라 떼를 이루는 행동가중으로 악화되는 반면, TWF 기반 정책은 강건하게 유지되며 성능 향상을 보인다.
• 결과적으로 '부정확한 정보가 성능을 향상시킬 수 있다'는 직관에 반하는 개념을 반박하며, 적절한 조율을 통해 정확한 정보가 유익함을 입증한다.