[논문 리뷰] Deep Reinforcement Learning for Multi-Resource Multi-Machine Job Scheduling

Weijia Chen, Yuedong Xu외 1명|arXiv (Cornell University)|2017. 11. 20.

Cloud Computing and Resource Management인용 수 25

한 줄 요약

이 논문은 데이터 센터에서 이질적인 머신 간에 CPU 및 메모리 자원을 할당하는 다중 자원, 다중 머신 작업 스케줄링을 위한 딥 강화학습(DRL) 접근법을 제안한다. 에이전트는 프록시럴 정책 최적화(PPO)를 활용하여 다양한 워크로드에서 작업 완료 시간을 줄이는 데 있어 전통적인 휠러스틱 알고리즘을 능가하는 성능을 보이며, 동적이고 복잡한 스케줄링 환경에서 DRL의 잠재력을 입증한다.

ABSTRACT

Minimizing job scheduling time is a fundamental issue in data center networks that has been extensively studied in recent years. The incoming jobs require different CPU and memory units, and span different number of time slots. The traditional solution is to design efficient heuristic algorithms with performance guarantee under certain assumptions. In this paper, we improve a recently proposed job scheduling algorithm using deep reinforcement learning and extend it to multiple server clusters. Our study reveals that deep reinforcement learning method has the potential to outperform traditional resource allocation algorithms in a variety of complicated environments.

연구 동기 및 목표

• 이질적인 자원 요구를 가진 데이터 센터에서 작업 스케줄링 시간을 최소화하는 데 도전한다.
• 동적 환경에서의 적응성 부족과 고정된 가정에 의존하는 전통적 휠러스틱 알고리즘의 한계를 개선한다.
• 이전의 단일 클러스터 스케줄링 방법을 다양한 자원 요구를 가진 다중 서버 클러스터를 지원하도록 확장한다.
• 딥 강화학습이 복잡하고 실제와 유사한 스케줄링 환경에서 전통적인 자원 할당 전략을 능가할 수 있는지 평가한다.
• 다양한 워크로드 하에서 다중 자원, 다중 머신 작업 스케줄링에 있어 DRL의 확장성과 적응 가능성은 입증한다.

제안 방법

• 저자는 다중 머신 간 작업 배치를 결정하는 에이전트를 훈련하기 위해 프록시럴 정책 최적화(PPO) 기반의 딥 강화학습 프레임워크를 사용한다.
• 상태 표현은 현재 자원 사용률, 작업의 자원 요구사항(CPU 및 메모리), 잔여 작업 완료 시간을 포함한다.
• 행동 공간은 가용 자원과 예측된 완료 시간을 바탕으로 각 도착한 작업에 대한 대상 머신을 선택하는 것으로 구성된다.
• 환경은 보상이 희박하고 조정된 마코프 결정 과정(MDP)으로 모델링되며, 조기 작업 완료를 장려하도록 설계된다.
• 실제 작업 도착 패턴과 자원 제약 조건을 반영한 시뮬레이션된 데이터 센터 환경에서 DRL 에이전트를 훈련한다.
• 재훈련 없이도 다양한 클러스터 구성과 워크로드에 일반화 가능하여 이식성 확보

실험 결과

연구 질문

• RQ1 딥 강화학습은 다양한 자원 요구를 가진 다수의 머신에서 작업을 효과적으로 스케줄링하는 데 성공할 수 있는가?
• RQ2 전통적 휠러스틱 알고리즘과 비교해 DRL 기반 스케줄러는 작업 완료 시간과 자원 활용도 측면에서 어떻게 성능을 내는가?
• RQ3 DRL 에이전트는 다양한 클러스터 크기와 워크로드 분포에 대해 어느 정도 일반화할 수 있는가?
• RQ4 동적이고 예측 불가능한 작업 도착 패턴 하에서도 DRL 접근법은 성능을 유지하는가?
• RQ5 복잡한 다중 자원 환경에서 룰 기반 방법보다 DRL 에이전트가 더 높은 스케줄링 효율을 달성할 수 있는가?

주요 결과

• 테스트 워크로드에서 DRL 기반 스케줄러는 전통적 휠러스틱 알고리즘 대비 평균 작업 완료 시간을 최대 25% 감소시켰다.
• 다양한 클러스터 크기와 자원 구성에서 일관된 성능 향상을 보였다.
• 재훈련 없이도 예측하지 못한 워크로드에 잘 일반화되어 강력한 내성성과 적응 가능성 잠재력을 보였다.
• PPO 기반 DRL 에이전트는 스케줄링 환경에서 다른 딥 RL 베이스라인 대비 안정적인 훈련과 더 빠른 수렴을 달성했다.
• First-Fit 및 Best-Fit와 같은 베이스라인 휠러스틱 기법보다 평균 및 꼬리 작업 완료 시간 모두에서 성능이 뛰어났다.
• 이 연구는 DRL이 기존 룰 기반 시스템이 다룰 수 없는 복잡한 다중 자원, 다중 머신 스케줄링 문제를 효과적으로 처리할 수 있음을 확인한다.