[논문 리뷰] A large-scale service system with packing constraints: Minimizing the number of occupied servers

Alexander Stolyar, Yuan Zhong|arXiv (Cornell University)|2012. 12. 04.

Optimization and Search Problems참고 문헌 4인용 수 10

한 줄 요약

이 논문은 패킹 제약 조건이 있는 대규모 서비스 시스템을 위한 실시간, 상태 기반 정책인 서브선형 안전 재고를 갖춘 탐욕 알고리즘(GSS)을 소개한다. GSS는 각 서버 구성에 대해 서브선형 안전 재고를 동적으로 유지함으로써 안정 상태에서 총 할당된 서버 수를 점점 줄여나가며, 시스템 파ameters에 대한 사전 지식 없이도 탄력성을 확보하고, 유체 척도 최적성에 대해 빠른 수렴 속도를 달성한다.

ABSTRACT

We consider a large-scale service system model motivated by the problem of efficient placement of virtual machines to physical host machines in a network cloud, so that the total number of occupied hosts is minimized. Customers of different types arrive to a system with an infinite number of servers. A server packing configuration is the vector $k = (k_i)$, where $k_i$ is the number of type-$i$ customers that the server "contains". Packing constraints are described by a fixed finite set of allowed configurations. Upon arrival, each customer is placed into a server immediately, subject to the packing constraints; the server can be idle or already serving other customers. After service completion, each customer leaves its server and the system. It was shown recently that a simple real-time algorithm, called Greedy, is asymptotically optimal in the sense of minimizing $\sum_k X_k^{1+α}$ in the stationary regime, as the customer arrival rates grow to infinity. (Here α>0, and $X_k$ denotes the number of servers with configuration $k$.) In particular, when parameter αis small, Greedy approximately solves the problem of minimizing $\sum_k X_k$, the number of occupied hosts. In this paper we introduce the algorithm called Greedy with sublinear Safety Stocks (GSS), and show that it asymptotically solves the exact problem of minimizing $\sum_k X_k$. An important feature of the algorithm is that sublinear safety stocks of $X_k$ are created automatically - when and where necessary - without having to determine a priori where they are required. Moreover, we also provide a tight characterization of the rate of convergence to optimality under GSS. The GSS algorithm is as simple as Greedy, and uses no more system state information than Greedy does.

연구 동기 및 목표

• 가상 머신의 다양한 자원 요구량을 고려할 때 클라우드 데이터센터에서 물리적 서버의 할당 수를 최소화하는 문제를 다루는 것.
• 현재 시스템 상태만 기반으로 하여 시스템 파ameters나 향후 예측에 의존하지 않는 단순한 실시간 정책을 설계하는 것.
• 입력 도착률이 매우 커질 때 총 할당된 서버 수를 점점 줄이는 점근적 최적성 달성.
• 제안된 정책 하에서 최적성에 수렴하는 속도를 규명하는 것.
• 단순히 서버 수 외에도 다양한 비용을 고려한 일반적인 비용 최소화 목표로 프레임워크를 확장하는 것.

제안 방법

• 리아파노프 함수를 활용하여 실시간 할당 결정을 이끄는 서브선형 안전 재고를 갖춘 탐욕 알고리즘(GSS)을 제안한다.
• 모든 서버 구성에 대해 0이 되지 않도록 동적으로 할당을 조정함으로써 비영인 안전 재고를 유지한다.
• 각 구성의 현재 서버 수를 기반으로 한 가중치 함수를 사용하며, 이는 시스템 크기에 대해 서브선형 성장을 보인다.
• 지역적 유체 스케일링을 활용하여 서브선형 안전 재고를 유체 척도에서 명백하게 드러내어 수렴 분석을 가능하게 한다.
• 드리프트 분석과 유체 극한 기법을 적용하여 점근적 최적성과 수렴 속도를 증명한다.
• 각 구성의 비용을 가중치로 사용하여 일반적인 비용 최소화 문제로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 패킹 제약 조건이 있는 대규모 시스템에서 단순하고 실시간 정책이 점점 총 할당된 서버 수를 최소화할 수 있는가?
• RQ2 시스템 파ameters에 대한 사전 지식 없이 안전 재고를 자동으로 생성하고 서브선형으로 유지할 수 있는가?
• RQ3 이러한 정책 하에서 최적성에 수렴하는 속도는 어떠한가?
• RQ4 이 프레임워크는 서로 다른 비용을 가진 할당된 서버의 일반적인 가중합을 최소화하도록 확장할 수 있는가?
• RQ5 이 정책은 개방형 시스템이나 비단조화된 비용 구조 하에서도 최적성을 유지하는가?

주요 결과

• GSS는 입력 유량이 무한히 증가할 때 안정 상태에서 총 할당된 서버 수를 점점 줄인다.
• 알고리즘은 모든 서버 구성에 대해 자동으로 서브선형 안전 재고를 생성하여, 어디에 필요한지 사전 지식 없이도 할당의 탄력성을 확보한다.
• GSS 하에서 최적성에 수렴하는 속도는 엄밀히 규명되어 있으며, 적절히 선택된 스케일링 파ameters 하에서 수렴 오차가 o(r^{2p-1})로 감소한다.
• 전체 시스템 파ameters나 향후 예측이 필요 없이 국소 시스템 상태 정보만으로도 유체 척도 최적성을 달성한다.
• 임의의 양수 비용 cₖ에 대해 ∑ₖ cₖXₖ를 최소화하는 데에도 프레임워크를 일반화할 수 있으며, 온건한 조건 하에서 점근적 최적성과 수렴 속도를 유지한다.
• 증명은 국소 유체 스케일링과 드리프트 분석에 기반하며, 토큰 만료 및 가중치 함수 추정 오차에 대한 오차 한계를 철저히 통제한다.