[논문 리뷰] Flexible Queueing Architectures

John N. Tsitsiklis, Kuang Xu|arXiv (Cornell University)|2015. 05. 28.

Interconnection Networks and Systems참고 문헌 21인용 수 5

한 줄 요약

이 논문은 제한된 서버 유연성(dₙ ≪ n) 조건에서도 넓은 용량 영역과 점점 사라지는 대기 지연을 동시에 달성하는 확장자 기반의 유연한 큐잉 아키텍처를 제안한다. 확장자에서 가상 대기열 기반 스케줄링 정책을 사용함으로써, dₙ ≫ ln n 조건 하에 최적 용량 영역의 상수 배수 근처에서 모든 도착률에 대해 안정성과 낮은 지연을 유지한다.

ABSTRACT

We study a multi-server model with $n$ flexible servers and $n$ queues, connected through a bipartite graph, where the level of flexibility is captured by the graph's average degree, $d_n$. Applications in content replication in data centers, skill-based routing in call centers, and flexible supply chains are among our main motivations. We focus on the scaling regime where the system size $n$ tends to infinity, while the overall traffic intensity stays fixed. We show that a large capacity region and an asymptotically vanishing queueing delay are simultaneously achievable even under limited flexibility ($d_n \ll n$). Our main results demonstrate that, when $d_n\gg \ln n$, a family of expander-graph-based flexibility architectures has a capacity region that is within a constant factor of the maximum possible, while simultaneously ensuring a diminishing queueing delay for all arrival rate vectors in the capacity region. Our analysis is centered around a new class of virtual-queue-based scheduling policies that rely on dynamically constructed job-to-server assignments on the connectivity graph. For comparison, we also analyze a natural family of modular architectures, which is simpler but has provably weaker performance.

연구 동기 및 목표

• 다중 서버 큐잉 시스템에서 서버의 유연성이 제한된 조건에서도 넓은 용량 영역과 점점 사라지는 대기 지연을 동시에 달성할 수 있는지 조사하기.
• 각 서버가 큐의 소수의 부분에만 연결된 경우(즉, dₙ ≪ n)에도 거의 최적 성능을 달성하는 아키텍처와 스케줄링 정책을 설계하기.
• 다양한 도착률 벡터 하에서 모듈러 설계보다 확장자 기반 아키텍처의 안정성과 지연 성능을 비교하기.
• 시스템 크기 n → ∞의 점점 가까운 근처에서의 점근적 영역에서, 융통성 있는 큐잉 네트워크에 대한 지연과 용량 영역에 대한 이론적 보장을 수립하기.

제안 방법

• 저자들은 n개의 서버와 n개의 큐를 연결하는 이분 그래프로 시스템을 모델링하며, 서버의 유연성은 평균 차수 dₙ로 정의한다.
• 실시간 큐 길이와 연결성에 기반해 작업을 동적으로 서버에 할당하는 가상 대기열 기반 스케줄링 정책을 도입한다.
• 분석은 확장자 그래프에 기반하며, 성능 보장에 필수적인 강한 연결성과 균일한 확장 성질을 보장한다.
• 스토하스틱 커플링과 르아플라스 드리프트 분석을 통해 대기 지연의 경계를 유도하며, E[W] = O(ln n / dₙ)임을 보여준다.
• 유체 및 확산 근사 근사를 통해 용량 영역을 분석하여, 확장자 아키텍처가 최대 용량 영역의 상수 배수 내에서 성능을 달성함을 입증한다.
• 간단한 구현에도 불구하고 더 약한 이론적 보장을 갖는 그레디 히우리스틱을 사용한 모듈러 아키텍처와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 서버의 유연성이 제한된 조건(dₙ ≪ n)에서도 넓은 용량 영역과 점점 사라지는 대기 지연을 동시에 달성할 수 있는가?
• RQ2 용량 영역과 지연 측면에서 거의 최적 성능을 달성하기 위해 필요한 최소 평균 차수 dₙ는 얼마인가?
• RQ3 유사한 유연성 제약 조건 하에서 확장자 기반 아키텍처의 성능은 모듈러 아키텍처와 비교해 어떻게 되는가?
• RQ4 더 단순한 정책인 그레디 스케줄링 정책도 유사한 이론적 보장을 지연과 안정성 측면에서 달성할 수 있는가?
• RQ5 융통성 있는 큐잉 시스템에서 아키텍처의 복잡성과 성능 사이의 근본적 트레이드오프는 무엇인가?

주요 결과

• dₙ ≫ ln n 조건에서, 확장자 기반 아키텍처는 최대 용량 영역의 상수 배수 내에서 용량 영역을 달성한다.
• 모든 안정적인 도착률 벡터에 대해 기대 대기 지연은 O(ln n / dₙ)이며, dₙ ≫ ln n 조건 하에서 n → ∞ 일 때 이 값은 점점 사라진다.
• 가상 대기열 기반 스케줄링 정책은 제한된 유연성 조건 하에서도 용량 영역 내 모든 도착률 벡터에서 안정성과 낮은 지연을 보장한다.
• 반면, 더 단순한 모듈러 아키텍처는 낮은 연결성으로 인해 도착률 벡터의 많은 부분에서 안정성을 확보하지 못한다.
• 시뮬레이션 결과, 지연은 작업 크기 분포에 상대적으로 민감하지 않으며, 고분산을 가진 로그정규 분포 서비스 시간 조건 하에서도 낮게 유지된다.
• 결과적으로, 확장자 기반 설계는 제한된 유연성 조건 하에서 용량과 지연을 균형 있게 조절하는 데 점점 최적임을 시사한다.