[논문 리뷰] workload forecasting and resource management models based on machine learning for cloud computing environments

Deepika Saxena, Ashutosh Kumar Singh|arXiv (Cornell University)|2021. 06. 29.

Cloud Computing and Resource Management참고 문헌 49인용 수 13

한 줄 요약

이 논문은 머신러닝 기반의 프레임워크를 제안하여 클라우드 컴퓨팅 환경에서 워크로드 예측 및 능동적 자원 관리를 수행하며, 예측 모델링과 동적 VM 배치 및 이동을 통합하여 자원 활용도를 향상시키고 에너지 소비를 줄이며 SLA 위반을 방지한다. 다중 자원 예측, 실시간 적응성, 보안 인식 자원 할당을 강조하여 유연한 클라우드 환경에서의 확장성과 성능 도전 과제를 해결한다.

ABSTRACT

The workload prediction and resource allocation significantly play an inevitable role in production of an efficient cloud environment. The proactive estimation of future workload followed by decision of resource allocation have become a prior solution to handle other in-built challenges like the under/over-loading of physical machines, resource wastage, Quality-of-Services (QoS) violations, load balancing,VM migration and many more. In this context, the paper presents a comprehensive survey of workload forecasting and predictive resource management models in cloud environment. A conceptual framework for workload forecasting and resource management, categorization of existing machine learning based resources allocation techniques, and major challenges of inefficient distribution of physical resource distribution are discussed pertaining to cloud computing. Thereafter, a thorough survey of existing state-of-the-art contributions empowering machine learning based approaches in the field of cloud workload prediction and resource management are rendered. Finally, the paper explores and concludes various emerging challenges and future research directions concerning elastic resource management in cloud environment.

연구 동기 및 목표

• 예측할 수 없는 워크로드 변동으로 인한 클라우드 데이터센터 내 자원 할당의 비효율성 문제를 해결한다.
• 사전 예측 기반의 워크로드 예측 및 동적 자원 할당을 통해 클라우드 서비스의 신뢰성을 향상시킨다.
• 지능적인 VM 통합 및 이동 전략을 통해 에너지 소비와 자원 낭비를 줄인다.
• 과부하 또는 과소부하를 완화하고 저지연 응답 시간을 보장함으로써 시스템 성능을 향상시킨다.
• VM 이동 및 통신 중 비인가 접근과 데이터 泄露를 방지하기 위해 보안 고려 사항을 자원 할당에 통합한다.

제안 방법

• 머신러닝 모델을 활용해 워크로드 예측, 자원 할당, VM 관리의 통합 개념적 프레임워크를 개발한다.
• 예측 대상(예: CPU, 메모리, 대역폭)과 학습 철학에 따라 기존의 머신러닝 기반 자원 할당 기법을 분류한다.
• 이력 및 스트리밍 자원 사용 데이터를 기반으로 실시간 재학습이 가능한 적응형 학습 모델을 제안한다. 이를 통해 예측 정확도를 향상시킨다.
• CPU, 메모리, 디스크, 네트워크 활용도를 동시에 예측하는 다중 자원 예측 모델을 구현하여 버티브 포인트를 방지한다.
• 모든 핵심 자원을 동시에 고려하는 능동적 로드 밸런싱 메커니즘을 설계하여 자원 경쟁 없이 실행을 보장한다.
• 워크로드 예측을 VM 이동 결정에 통합하여 성능 저하가 발생하기 전에 사전 이동을 가능하게 한다.

실험 결과

연구 질문

• RQ1 머신러닝 모델은 클라우드 환경에서 다중 자원 워크로드 예측의 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 능동적 VM 이동의 핵심 과제는 무엇이며, 예측 분석을 통해 이를 어떻게 완화할 수 있는가?
• RQ3 여러 자원(CPU, 메모리, 대역폭)을 동시에 고려한 자원 관리 전략은 어떻게 향상시킬 수 있는가?
• RQ4 실시간 모델 재학습은 동적 워크로드 환경에서 예측 정확도를 유지하는 데 어떤 역할을 하는가?
• RQ5 성능 저하 없이 자원 할당 및 VM 이동 과정에 보안을 체계적으로 통합하는 방법은 무엇인가?

주요 결과

• 기존의 워크로드 예측 방법은 주로 정적이며 역사적 데이터에만 의존하여 급격한 수요 급증 시 정확도가 떨어진다.
• 과부하 또는 과소부하 조건을 사전에 예측하면 성능 저하를 방지하고 SLA 위반을 크게 줄일 수 있으며, 이를 통해 사전 이격된 VM 이동이 가능하다.
• CPU, 메모리, 대역폭 등 여러 자원을 동시에 고려한 로드 밸런싱은 더 나은 시스템 성능과 자원 경쟁 감소를 이끈다.
• 통합된 플랫폼에서 워크로드 예측, 로드 밸런싱 및 VM 배치를 통합하면 전체 자원 활용도와 에너지 효율성이 향상된다.
• 멀티테넌트 환경에서 특히 중요한 바탕으로, 비인가 접근 및 통신 중 데이터 泄露를 방지하기 위해 보안 인식 자원 할당 모델이 필수적이다.
• 스트리밍 데이터를 기반으로 실시간 재학습이 가능한 적응형 학습 모델은 동적 클라우드 워크로드 환경에서 기존 정적 모델보다 뛰어난 성능을 보인다.