[논문 리뷰] Optimal Load Balancing in Bipartite Graphs

Wentao Weng, Xingyu Zhou외 1명|arXiv (Cornell University)|2020. 08. 20.

Interconnection Networks and Systems참고 문헌 51인용 수 5

한 줄 요약

이 논문은 이질적인 서버와 작업-서버 제약 조건을 가진 이분 그래프에서 부하 균형을 위한 JFSQ(가장 짧은 큐 중에서 가장 빠른 서버로 이동) 및 JFIQ(비어 있는 큐 중에서 가장 빠른 서버로 이동) 정책을 제안한다. '잘 연결된' 그래프 조건이 만족될 경우, 서버 수가 증가함에 따라 평균 응답 시간에서 점근적 최적성을 달성하며, 서버 이질성과 국지성 제약 조건이 존재하는 시스템에서 기존 정책인 JSQ와 JIQ를 능가한다.

ABSTRACT

Applications in cloud platforms motivate the study of efficient load balancing under job-server constraints and server heterogeneity. In this paper, we study load balancing on a bipartite graph where left nodes correspond to job types and right nodes correspond to servers, with each edge indicating that a job type can be served by a server. Thus edges represent locality constraints, i.e., each job can only be served at servers which contained certain data and/or machine learning (ML) models. Servers in this system can have heterogeneous service rates. In this setting, we investigate the performance of two policies named Join-the-Fastest-of-the-Shortest-Queue (JFSQ) and Join-the-Fastest-of-the-Idle-Queue (JFIQ), which are simple variants of Join-the-Shortest-Queue and Join-the-Idle-Queue, where ties are broken in favor of the fastest servers. Under a "well-connected" graph condition, we show that JFSQ and JFIQ are asymptotically optimal in the mean response time when the number of servers goes to infinity. In addition to asymptotic optimality, we also obtain upper bounds on the mean response time for finite-size systems. We further show that the well-connectedness condition can be satisfied by a random bipartite graph construction with relatively sparse connectivity.

연구 동기 및 목표

• 현대 클라우드 및 데이터 분석 시스템에서 작업-서버 제약 조건과 이질적인 서버 속도를 고려할 때 낮은 응답 시간을 달성하는 데 도전하는 것.
• JSQ와 JIQ와 같은 전통적 접근 방식을 능가하는 단순하고 실용적인 부하 균형 정책을 설계하는 것. 이는 서버 이질성과 국지성 제약 조건이 존재하는 시스템에서 성능을 향상시키기 위함이다.
• 유한 크기 시스템에서 평균 응답 시간에 대한 이론적 성능 한계를 설정하고, 다수의 서버 및 하프린-위트 하에서 점근적 최적성을 증명하는 것.
• 점근적 최적성을 달성하기 위해 필요한 '잘 연결된' 조건을 만족하는 희소한 이분 그래프를 구성하는 방법을 개발하는 것.
• 이질적인 부하 균형 시스템에서 평균장 근사치와의 거리에 대한 새로운 분석 프레임워크를 제공하는 것.

제안 방법

• JSQ와 JIQ를 확장하여, 큐 길이 또는 비어 있는 상태가 동일할 경우 더 빠른 서버를 우선시하는 두 가지 새로운 부하 균형 정책인 JFSQ와 JFIQ를 제안한다.
• 적절한 연결성을 확보하여 점근적 최적성을 달성할 수 있도록 하는 '잘 연결된' 그래프 조건을 정의한다.
• 상태공간 수축 결과를 활용하여, 잘 연결된 조건이 만족될 경우 시스템 행동이 평균장 근사치로 수렴함을 보여준다.
• 유한 크기 시스템에서 평균 응답 시간의 상한을 구하기 위해, 평균장 근사치 근처의 이질적 시스템을 분석하는 데 새로운 기법을 사용한다.
• 노드의 차수를 1−λ에 대해 ω(1/(1−λ)²)로 설정함으로써 이질적 도착률에 대해, 그리고 동일한 도착률일 경우 ω((1−λ)⁻¹ ln(1/(1−λ)))로 설정함으로써 희소한 연결성을 가진 무작위 이분 그래프를 구성한다.
• 고정 크기 및 증가하는 크기의 시스템에서 시뮬레이션을 통해 성능을 검증하며, 다양한 시스템 부하와 서버 수 조건에서 JFSQ, JFIQ, JSQ, JIQ, JSQ-(2,2) 정책을 비교한다.

실험 결과

연구 질문

• RQ1 이질적인 서버와 작업-서버 제약 조건이 존재하는 이분 그래프에서 단순한 부하 균형 정책이 점근적으로 최적의 평균 응답 시간을 달성할 수 있는가?
• RQ2 이분 그래프의 어떤 구조적 조건이 JFSQ와 JFIQ의 최적 성능를 보장하는가?
• RQ3 이질적인 서비스 속도를 가진 유한 크기 시스템에서 JFSQ와 JFIQ의 성능은 JSQ와 JIQ와 비교해 어떻게 되는가?
• RQ4 무작위 이분 그래프에서 잘 연결된 조건을 유지하고 점근적 최적성을 확보하기 위해 필요한 최소 연결성은 무엇인가?
• RQ5 제안된 정책은 작은 버퍼 크기와 함께 증가하는 시스템 크기에서도 근사 최적 성능을 유지할 수 있는가?

주요 결과

• 잘 연결된 그래프 조건 하에서, 다수의 서버 환경(λ < 1)과 하프린-위트 하(λ = 1 − N⁻ᵅ, α < 0.5) 모두에서 JFSQ와 JFIQ는 평균 응답 시간에서 점근적 최적성을 달성한다.
• 유한 크기 시스템에서 JFSQ와 JFIQ는 높은 시스템 부하 조건(예: λ ≈ 0.98)에서도 이론적 하한에 매우 가까운 평균 응답 시간을 달성한다.
• 무작위 이분 그래프의 경우, 잘 연결된 조건은 희소한 연결성으로도 달성 가능하다: 도착률이 이질적일 경우 각 포트는 단지 ω(1/(1−λ)²)개의 연결이 필요하며, 도착률이 동일할 경우 ω((1−λ)⁻¹ ln(1/(1−λ)))개의 연결이 필요하다.
• 시뮬레이션 결과, 서버 수가 증가함에 따라 JFSQ와 JFIQ는 점차 근사 최적 성능에 수렴함을 확인할 수 있었으며, 예를 들어 N = 2048일 때 평균 응답 시간은 이론적 하한에 매우 가까웠다. 반면 JSQ와 JIQ는 서버 이질성을 고려하지 않아 최적 성능에 도달하지 못했다.
• 작은 버퍼 크기(b = 5) 조건에서도 차단 확률이 0으로 수렴하는 경향을 관찰하여, 대규모 시스템에서의 낮은 혼잡도를 확인할 수 있었다.
• 세 가지 상태공간 수축 결과를 기반으로 한 제안된 분석 프레임워크는 이질적 부하 균형 시스템에서 평균장 근사치와의 거리에 대한 상한을 설정하는 데 기여한다.