[논문 리뷰] Containers Orchestration with Cost-Efficient Autoscaling in Cloud Computing Environments

Maria A. Rodriguez, Rajkumar Buyya|arXiv (Cornell University)|2018. 12. 02.

Cloud Computing and Resource Management인용 수 10

한 줄 요약

이 논문은 클라우드 환경을 위한 비용 효율적인 컨테이너 오케스트레이션 프레임워크를 제안하며, 쿠버네티스를 위한 플러그인 스케줄러를 사용하여 클러스터 리소스를 동적으로 스케일링하고 컨테이너 배치를 최적화합니다. 워크로드 인식 자동 스케일링과 런타임 재스케줄링을 결합함으로써, 실제 클라우드 인프라에서 쿠버네티스의 기본 스케줄러 대비 인프라 비용을 58% 절감합니다.

ABSTRACT

Containers are standalone, self-contained units that package software and its dependencies together. They offer lightweight performance isolation, fast and flexible deployment, and fine-grained resource sharing. They have gained popularity in better application management and deployment in recent years and are being widely used by organizations to deploy their increasingly diverse workloads such as web services, big data, and IoT in either proprietary clusters or cloud data centres. This has led to the emergence of container orchestration platforms, which are designed to manage the deployment of containerized applications in large-scale clusters. The majority of these platforms are tailored to optimize the scheduling of containers on a fixed-sized private cluster but are not enabled to autoscale the size of the cluster nor to consider features specific to public cloud environments. In this work, we propose a comprehensive container resource management approach that has three different objectives. The first one is to optimize the initial placement of containers by efficiently scheduling them on existing resources. The second one is to autoscale the number of resources at runtime based on the current cluster's workload. The third one is a rescheduling mechanism to further support the efficient use of resources by consolidating applications into fewer VMs when possible. Our algorithms are implemented as a plugin-scheduler for Kubernetes platform. We evaluated our framework and the effectiveness of the proposed algorithms on an Australian national cloud infrastructure. Our experiments demonstrate that considerable cost savings can be achieved by dynamically managing the cluster size and placement of applications. We find that our proposed approaches are capable of reducing the cost by 58% when compared to the default Kubernetes scheduler.

연구 동기 및 목표

• 기존 컨테이너 오케스트레이션 플랫폼이 비용 인식 자동 스케일링과 클라우드 네이티브 최적화를 결여하고 있는 격차를 보완하기 위해.
• 클라우드 클러스터 내 가용 가상 머신에 걸쳐 지능적으로 컨테이너를 스케줄링하여 자원 활용도를 향상시키기 위해.
• 실시간 워크로드 수요에 기반해 클러스터 크기를 동적으로 스케일링할 수 있도록 하기 위해.
• 응용 프로그램을 더 적은 VM에 통합함으로써 런타임 재스케줄링을 통해 운영 비용을 절감하기 위해.
• 비용 인식 스케줄링과 자동 스케일링을 통합한 쿠버네티스용 플러그인 스케줄러를 구현하고 평가하기 위해.

제안 방법

• 비용 인식 배치 논리를 추가한 기본 스케줄러를 확장하는 쿠버네티스용 플러그인 스케줄러 설계.
• 실시간 CPU, 메모리, 네트워크 사용량 메트릭을 수집하기 위한 워크로드 모니터링 모듈 구현.
• 이력 및 현재 워크로드 추세를 기반으로 VM 수를 증가 또는 감소시키는 자동 스케일링 알고리즘 개발.
• 저도용 VM을 식별하고 컨테이너를 이전하여 워크로드를 통합하는 재스케줄링 메커니즘 도입.
• 클라우드 가격 변동성과 VM 프로비저닝 비용을 고려한 비용 모델을 사용하여 스케줄링 및 스케일링 결정을 안내.
• 실제 워크로드를 사용한 오스트레일리아 국립 클라우드 인프라에서 프레임워크 평가.

실험 결과

연구 질문

• RQ1 공용 클라우드 환경에서 컨테이너 오케스트레이션은 어떻게 동적 자동 스케일링을 지원할 수 있는가?
• RQ2 지능적인 컨테이너 배치와 클러스터 자동 스케일링을 조합함으로써 얼마나 큰 비용 절감을 달성할 수 있는가?
• RQ3 런타임 재스케줄링은 워크로드 통합과 VM 포트폴리오 감소에 얼마나 효과적인가?
• RQ4 제안된 스케줄러는 쿠버네티스의 기본 스케줄러 대비 성능 및 비용에 어떤 영향을 미치는가?
• RQ5 대규모 클라우드 배포 환경에서 서비스 품질을 유지하면서 인프라 비용을 최소화할 수 있는가?

주요 결과

• 제안된 프레임워크는 실제 클라우드 인프라에서 쿠버네티스 기본 스케줄러 대비 58%의 인프라 비용 절감을 달성했다.
• 자동 스케일링 메커니즘이 워크로드 변동에 적절히 반응하여 과잉 프로비저닝을 방지했다.
• 재스케줄링 구성 요소는 응용 프로그램을 더 적은 VM에 성공적으로 통합하여 자원 활용도를 향상시키고 유휴 용량을 줄였다.
• 플러그인 스케줄러는 다양한 워크로드에서 낮은 스케줄링 지연과 높은 배치 효율성을 유지했다.
• 프레임워크는 프로덕션 수준의 클라우드 환경에서 뛰어난 확장성과 적응성을 보였다.
• 비용 절감 효과가 가장 두드러진 것은 변동성과 피크 워크로드가 빈번한 환경이었으며, 이는 동적 자원 관리의 가치를 입증했다.