[논문 리뷰] Deep Reinforcement Learning-based Methods for Resource Scheduling in Cloud Computing: A Review and Future Directions

Guangyao Zhou, Wenhong Tian외 3명|arXiv (Cornell University)|2021. 05. 10.

Cloud Computing and Resource Management참고 문헌 160인용 수 26

한 줄 요약

이 논문은 클라우드 컴퓨팅에서 DRL 기반 자원 스케줄링을 조사하고, 모델, 목표, 도전과제를 개관하며 DRL의 스케줄링 미래 방향을 논의한다.

ABSTRACT

As the quantity and complexity of information processed by software systems increase, large-scale software systems have an increasing requirement for high-performance distributed computing systems. With the acceleration of the Internet in Web 2.0, Cloud computing as a paradigm to provide dynamic, uncertain and elastic services has shown superiorities to meet the computing needs dynamically. Without an appropriate scheduling approach, extensive Cloud computing may cause high energy consumptions and high cost, in addition that high energy consumption will cause massive carbon dioxide emissions. Moreover, inappropriate scheduling will reduce the service life of physical devices as well as increase response time to users' request. Hence, efficient scheduling of resource or optimal allocation of request, that usually a NP-hard problem, is one of the prominent issues in emerging trends of Cloud computing. Focusing on improving quality of service (QoS), reducing cost and abating contamination, researchers have conducted extensive work on resource scheduling problems of Cloud computing over years. Nevertheless, growing complexity of Cloud computing, that the super-massive distributed system, is limiting the application of scheduling approaches. Machine learning, a utility method to tackle problems in complex scenes, is used to resolve the resource scheduling of Cloud computing as an innovative idea in recent years. Deep reinforcement learning (DRL), a combination of deep learning (DL) and reinforcement learning (RL), is one branch of the machine learning and has a considerable prospect in resource scheduling of Cloud computing. This paper surveys the methods of resource scheduling with focus on DRL-based scheduling approaches in Cloud computing, also reviews the application of DRL as well as discusses challenges and future directions of DRL in scheduling of Cloud computing.

연구 동기 및 목표

• 클라우드 컴퓨팅의 개발을 검토하고 스케줄링 방법과 최적화 목표를 분류한다.
• 클라우드 컴퓨팅에서 다양한 목표에 대한 스케줄링 모델을 요약한다.
• 스케줄링에서 DRL의 적용을 논의하고 DRL이 아닌 방법과 비교한다.
• DRL 기반 스케줄링의 과제와 향후 방향을 식별한다.

제안 방법

• 클라우드 컴퓨팅의 스케줄링 목표와 최적화 문제를 분류한다(예: 에너지, makespan, 지연, 부하 분산, 활용도, 비용).
• 자원 스케줄링 작업 및 자원에 대한 수학적 모델과 표기법을 분석한다.
• 스케줄링 문제에 사용되는 RL 및 DRL 구조와 아키텍처를 조사한다.
• 클라우드 스케줄링 문헌에서 DRL 기반 접근법과 비 DRL 접근법을 비교한다.
• 현실적인 클라우드 스케줄링 시나리오에 DRL을 적용하는 데 따른 도전과 향후 방향을 논의한다.

실험 결과

연구 질문

• RQ1 클라우드 컴퓨팅에서 자원 스케줄링에 사용되는 DRL 기반 접근법은 무엇인가?
• RQ2 DRL 방법은 일반적인 스케줄링 목표에 대해 비-DRL 접근법과 어떻게 비교되는가?
• RQ3 클라우드 자원 스케줄링에서 DRL의 주요 도전과 유망한 방향은 무엇인가?

주요 결과

• DRL은 딥러닝과 강화학습을 결합하여 복잡한 클라우드 스케줄링 시나리오에서 잠재력을 보여준다.
• 이 논문은 DRL 스케줄링 접근법을 카탈로그하고 비-DRL 방법과의 관련성을 논의한다.
• 클라우드 자원 스케줄링에 DRL을 적용하는 주요 도전과 향후 방향을 식별한다.
• 이 연구는 DRL 응용 및 이 분야의 미래 연구 필요성에 대한 전문적 관점을 제공하는 것을 목표로 한다.