[논문 리뷰] Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud System

Yiwen Han, Shihao Shen외 3명|arXiv (Cornell University)|2021. 01. 17.

Cloud Computing and Resource Management참고 문헌 24인용 수 5

한 줄 요약

이 논문은 다중 에이전트 강화학습과 그래프 신경망을 활용하여 요청 디스패치 및 서비스 오케스트레이션을 동적으로 최적화하는, 쿠버네티스 기반 엣지-클라우드 시스템을 위한 학습 기반 스케줄링 프레임워크인 KaiS를 제안한다. 이는 시스템 모델 가정에 의존하지 않고 정책을 학습하기 때문에, 기준 대비 14.3% 높은 처리량과 34.7% 낮은 스케줄링 비용을 달성한다.

ABSTRACT

Kubernetes (k8s) has the potential to merge the distributed edge and the cloud but lacks a scheduling framework specifically for edge-cloud systems. Besides, the hierarchical distribution of heterogeneous resources and the complex dependencies among requests and resources make the modeling and scheduling of k8s-oriented edge-cloud systems particularly sophisticated. In this paper, we introduce KaiS, a learning-based scheduling framework for such edge-cloud systems to improve the long-term throughput rate of request processing. First, we design a coordinated multi-agent actor-critic algorithm to cater to decentralized request dispatch and dynamic dispatch spaces within the edge cluster. Second, for diverse system scales and structures, we use graph neural networks to embed system state information, and combine the embedding results with multiple policy networks to reduce the orchestration dimensionality by stepwise scheduling. Finally, we adopt a two-time-scale scheduling mechanism to harmonize request dispatch and service orchestration, and present the implementation design of deploying the above algorithms compatible with native k8s components. Experiments using real workload traces show that KaiS can successfully learn appropriate scheduling policies, irrespective of request arrival patterns and system scales. Moreover, KaiS can enhance the average system throughput rate by 14.3% while reducing scheduling cost by 34.7% compared to baselines.

연구 동기 및 목표

• 지리적으로 분산된 이질적인 엣지 및 클라우드 리소스를 관리하기 위해 쿠버네티스에 내장된 스케줄링 프레임워크가 부족한 문제를 해결한다.
• 변동하는 워크로드와 네트워크 조건로 인해 발생하는 동적인 비선형 시스템 동작과 복잡한 종속성으로 인한 엣지-클라우드 시스템의 과제를 극복한다.
• 실제 구현에 적합한 네이티브 쿠버네티스 컴포넌트와 호환되는 확장 가능하고 분산된 스케줄링 솔루션을 설계한다.
• 서비스 응답 시간, 네트워크 지연, 요청 도착 패턴에 대한 정확한 예측이 필요 없이 장기적인 처리량 최적화를 가능하게 한다.
• 계층적이고 단계적인 스케줄링 및 이중 시간 스케일 조율을 통해 스케줄링 비용과 오케스트레이션 복잡성을 줄인다.

제안 방법

• 중앙 집중식 행동 공간의 폭발을 방지하기 위해, 엣지 액세스 포인트(eAPs)에서 분산된 요청 디스패치를 가능하게 하는 조율된 다중 에이전트 액터-크리틱 알고리즘을 활용한다.
• 자원 가용성, 네트워크 지연, 시스템 구조 등의 시스템 상태 정보를 저차원 표현으로 임베딩하기 위해 그래프 신경망(GNNs)을 사용한다.
• GNN 임베딩된 상태를 다수의 정책 네트워크와 통합하여 단계적 오케스트레이션 결정을 통해 스케줄링 행동 차원을 감소시킨다.
• 이중 시간 스케일 스케줄링 메커니즘을 구현한다: eAP에서 빠른 디스패치 결정과 고가치 엣지 노드의 일부 집합에서 느린 최적화된 서비스 배치.
• 네이티브 쿠버네티스 컴포넌트와의 호환성을 설계하여 기존 클라우드 인fra구조에 원활한 통합을 가능하게 한다.
• 장기적 시스템 처리량을 극대화하고 스케줄링 비용을 최소화하는 데 중점을 둔 보상 함수를 정의하여 강화학습을 통한 종단 간 정책 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시스템 모델 가정에 의존하지 않고, 쿠버네티스 네이티브 엣지-클라우드 환경에서 요청 디스패치 및 서비스 오케스트레이션을 효과적으로 관리할 수 있는 학습 기반 스케줄링 프레임워크는 가능한가?
• RQ2 다양한 워크로드를 가진 대규모 계층적 엣지-클라우드 시스템에서 다중 에이전트 강화학습은 어떻게 분산 디스패치를 처리할 수 있는가?
• RQ3 그래프 신경망은 이질적이고 분산된 엣지-클라우드 환경에서 시스템 상태 표현의 확장성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 이중 시간 스케일 스케줄링 메커니즘은 실시간 요청 처리에서 반응성과 최적화 효율성의 균형을 어떻게 유지하는가?
• RQ5 제안된 프레임워크는 다양한 워크로드 패턴과 시스템 규모에서 기존 기준 대비 처리량 향상과 비용 절감을 크게 달성할 수 있는가?

주요 결과

• KaiS는 모든 테스트 워크로드 패턴에서 가장 유사한 기준 대비 평균 시스템 처리량을 14.3% 향상시켰다.
• KaiS는 고가치 엣지 노드의 수를 고정하고 이중 시간 스케일 메커니즘을 사용함으로써 스케줄링 비용을 34.7% 감소시켰다.
• 프레임워크는 요청 도착 패턴과 시스템 규모의 변화에도 효과적인 스케줄링 정책을 학습하여 뛰어난 일반화 능력을 입증했다.
• GSP-SS와 같은 기준들과 달리, KaiS는 적응형 로드 밸런싱과 제한된 스케줄링 비용 덕분에 고부하 조건에서도 높은 성능을 유지한다.
• GNN과 다중 에이전트 RL의 통합은 확장 가능하고 저차원 행동 공간 표현을 가능하게 하여 학습 효율성과 시스템 확장성을 향상시켰다.
• KaiS는 네이티브 쿠버네티스 컴포넌트와 호환되어 아키텍처의 대대적 개편 없이도 실제 클라우드-엣지 인fra구조에서 실용적인 구현이 가능하다.