[논문 리뷰] Learning-based Two-tiered Online Optimization of Region-wide Datacenter Resource Allocation

Changlin Chen, Hanhan Zhou외 9명|arXiv (Cornell University)|2023. 06. 29.

Cloud Computing and Resource Management인용 수 5

한 줄 요약

이 논문은 용량 보장, 장애 내성, 네트워크 유사성 조건 하에 동적 워크로드 배치를 고려하여, 지역 전체 데이터센터 자원 할당의 온라인이고 확장 가능한 최적화를 위한 이중 계층 딥 강화학습(DRL) 프레임워크를 제안한다. DRL을 통해 고수준의 예약 결정을 분리하고, MILP를 통해 저수준의 서버 매핑을 수행함으로써 계산 시간을 90% 감소시키고, MIP 솔버 대비 비용 효율성을 15% 향상시켜 대규모 클라우드 환경에서의 실용적 구현을 가능하게 한다.

ABSTRACT

Online optimization of resource management for large-scale data centers and infrastructures to meet dynamic capacity reservation demands and various practical constraints (e.g., feasibility and robustness) is a very challenging problem. Mixed Integer Programming (MIP) approaches suffer from recognized limitations in such a dynamic environment, while learning-based approaches may face with prohibitively large state/action spaces. To this end, this paper presents a novel two-tiered online optimization to enable a learning-based Resource Allowance System (RAS). To solve optimal server-to-reservation assignment in RAS in an online fashion, the proposed solution leverages a reinforcement learning (RL) agent to make high-level decisions, e.g., how much resource to select from the Main Switch Boards (MSBs), and then a low-level Mixed Integer Linear Programming (MILP) solver to generate the local server-to-reservation mapping, conditioned on the RL decisions. We take into account fault tolerance, server movement minimization, and network affinity requirements and apply the proposed solution to large-scale RAS problems. To provide interpretability, we further train a decision tree model to explain the learned policies and to prune unreasonable corner cases at the low-level MILP solver, resulting in further performance improvement. Extensive evaluations show that our two-tiered solution outperforms baselines such as pure MIP solver by over $15\%$ while delivering $100 imes$ speedup in computation.

연구 동기 및 목표

• 수백만 대의 서버를 보유한 대규모 데이터센터에서의 온라인 워크로드 할당의 확장성과 동적 특성을 해결하기 위해.
• 대규모 장애 발생 시에도 자원 재배치와 자원 중복을 최소화하면서 용량 보장을 확보하기 위해.
• 고비용의 계산 비용과 큰 결정 공간으로 인해 실시간 동적 환경에서 혼합정수계획법(MILP)의 한계를 극복하기 위해.
• 시스템의 동적 특성 하에서도 장기적인 성능 최적화를 가능하게 하는 확장 가능한 이중 수준 최적화 프레임워크를 설계하기 위해.
• 딥 강화학습과 MILP를 융합하여 실제 클라우드 시스템에서 효율적이고 실용적인 구현을 가능하게 하기 위해.

제안 방법

• 이중 계층 아키텍처를 설계: 고수준 DRL 에이전트가 각 예약에 대한 자원 공급을 순차적으로 결정하고, 저수준 MILP가 예약에서 서버로의 매핑을 해결한다.
• DRL 에이전트는 액션 컨버터(소프트맥스 및 지수 함수)를 사용하여 결정을 특정 MSB 수준의 서버 예약으로 변환함으로써 액션 공간을 축소한다.
• 저수준의 MILP는 랙 수준의 자원 중복과 서버 이동 비용을 최소화하며, DRL 에이전트의 출력을 제약 조건으로 사용한다.
• 최적화의 단순화와 확장성 향상을 위해 서버 유형별로 문제를 분리한다.
• 두 가지 변형을 구현: 단일 DRL 에이전트와 병렬 DRL 에이전트로 성능 및 확장성 측정.
• 실제 데이터센터의 동적 특성과 장애 시나리오를 모의하는 시뮬레이션 환경을 사용해 프레임워크를 훈련 및 테스트한다.

실험 결과

연구 질문

• RQ1 DRL 기반 접근 방식은 대규모 제약 조건 하에서 온라인이고 동적인 데이터센터 자원 할당 환경에서 장기적으로 최적의 성능을 달성할 수 있는가?
• RQ2 이중 계층 설계는 수백만 개의 결정 변수를 포함하는 시스템에서 DRL의 계산 부담을 어떻게 줄이는가?
• RQ3 비용, 지연 시간, 확장성 측면에서 제안된 방법은 MIP 솔버와 히وري스틱 기법에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 액션 컨버터는 실제 구현에서 DRL 결정의 타당성과 효율성을 어떻게 향상시키는가?
• RQ5 다양한 운영 조건에서 서버 이동 비용, 자원 중복, 용량 보장 간의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 이중 계층 DRL 접근 방식은 30회의 결정 라운드에 대해 테스트 시간을 26초로 단축하여 MIP 솔버의 거의 1시간 대비 90%의 계산 시간 감소를 달성했다.
• MIP 솔버 대비 전체 비용이 15% 낮아져 자원 중복과 이동을 최소화하는 데서 뛰어난 최적화 성능를 입증했다.
• 병렬 에이전트 변형의 훈련 시간은 10,000대 서버 시스템에서 56분으로, 대규모 구현에 있어 관리 가능한 확장성을 보였다.
• 모든 백분위수에서 가장 낮은 용량 중복을 유지하며, 항상 중복 제약 조건을 위반하지 않아 강력한 신뢰성을 확보했다.
• 서버 이동 비용이 증가함에 따라 총 이동 횟수는 감소하지만 자원 분산과 중복은 약간 증가하여 최적화에서 타당한 트레이드오프가 있음을 확인했다.
• 단일 에이전트와 병렬 에이전트 변형 간 성능가 유사하여, 다양한 훈련 설정에서도 DRL 설계의 견고성을 검증했다.