[논문 리뷰] Reinforcement-Learning-based Foresighted Task Scheduling in Cloud Computing.

Seyedakbar Mostafavi, Fatemeh Ahmadi외 1명|arXiv (Cornell University)|2018. 10. 10.

Cloud Computing and Resource Management참고 문헌 4인용 수 5

한 줄 요약

이 논문은 유동적인 사용자 요청에 동적으로 대응할 수 있는 강화학습(RL) 기반의 예측 가능한 작업 스케줄링 방법을 제안한다. 환경 피드백을 통해 최적의 스케줄링 정책을 학습함으로써, 응답 시간을 최대 49.52% 감소시키고 마감 시간(makespan)을 줄이며 자원 효율성을 향상시켜, 모든 지표에서 Random, Mix, FIFO, Greedy, Q-sch 알고리즘을 능가한다.

ABSTRACT

With the apperance of cloud computing, users receive computing resources according to pay as you go of cloud service provider. An optimized scheduling approach for mapping all the tasks to the resources is an essential problem due to the limitations and dynamics of resources for requests which vary during the time. This solution may lead to improvement of system's efficiency. There are different methods for cloud computing scheduling with different parameters such as response time, makespan, waiting time, energy consumption, cost, utilization rate, and load balancing. But many of these methods are not suitable for improving scheduling performance in a condition that users requests change during the time. So in this thesis a scheduling method based on reinforcement learning is proposed. Adopting with environment conditions and responding to unsteady requests, reinforcement learning can cause a long-term increase in system's performance. The results show that this proposed method can not only reduce the response time and makespan but also increase resource efficiency as a minor goal. Our proposed illustrates improvements in response time for 49.52%, 46.03%, 43.99%, 43.53% and 38.68% over Random, Mix, FIFO, Greedy and Q-sch algorithms, respectively.

연구 동기 및 목표

• 클라우드 컴퓨팅 환경에서 동적이고 예측 불가능한 사용자 요청의 과제를 해결하기 위해.
• 응답 시간, 마감 시간, 자원 활용도와 같은 핵심 스케줄링 지표를 최적화하여 시스템 효율성을 향상시키기 위해.
• 시간에 따라 변하는 워크로드에서 실패하는 정적 또는 휴리스틱 기반 스케줄링 방법의 한계를 극복하기 위해.
• 환경 피드백에서 학습함으로써 장기적이고 적응형 스케줄링 전략을 개발하여 시스템 성능을 향상시키기 위해.
• 동적 클라우드 워크로드에서 기존 알고리즘인 FIFO, Greedy, Q-sch보다 뛰어난 성능을 달성하기 위해.

제안 방법

• 작업 스케줄링을 순차적 의사결정 문제로 모델링하기 위해 강화학습을 활용한다.
• 시스템 상태를 관찰하고 자원에 작업을 할당하는 행동을 취하며 성능 지표에 따라 보상을 받는 RL 에이전트를 설계한다.
• 응답 시간, 마감 시간, 자원 활용도를 통합한 보상 함수를 사용하여 학습을 이끌어낸다.
• 시뮬레이션된 클라우드 환경과의 상호작용을 통해 최적의 스케줄링 정책을 학습하도록 한다.
• 시간 차분 학습 원리를 적용하여 Q-값을 갱신하고 시간이 지남에 따라 의사결정 능력을 향상시킨다.
• 실시간 피드백에 기반해 정책을 지속적으로 갱신함으로써 워크로드 변화에 대한 적응성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 강화학습을 효과적으로 활용하여 동적 클라우드 컴퓨팅 환경에서 작업 스케줄링을 향상시킬 수 있는가?
• RQ2 기존 알고리즘과 비교했을 때 RL 기반 스케줄러는 응답 시간과 마감 시간을 얼마나 줄일 수 있는가?
• RQ3 유동적인 사용자 요청 환경에서도 RL 기반 접근 방식이 높은 자원 활용도와 로드 밸런싱을 유지할 수 있는가?
• RQ4 실시간 환경에서 제안된 방법은 FIFO, Greedy, Q-sch와 같은 기존 스케줄링 알고리즘보다 어떻게 뛰어나게 되는가?
• RQ5 예측 가능한 스케줄링의 장기적 영향은 시스템 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 RL 기반 스케줄러는 Random 알고리즘 대비 응답 시간을 49.52% 감소시켰다.
• Mix 알고리즘 대비 응답 시간에 46.03% 향상된 성과를 기록했다.
• FIFO 알고리즘 대비 응답 시간이 43.99% 감소한 것으로 관측되었다.
• Greedy 알고리즘 대비 응답 시간이 43.53% 감소한 것으로 나타났다.
• Q-sch 알고리즘 대비 응답 시간에 38.68% 향상된 성과를 달성했다.
• 이 방법은 자원 효율성 향상이라는 부가적 이점도 제공하여 종합적인 시스템 성능에 기여한다.