[논문 리뷰] A New Approach for Resource Scheduling with Deep Reinforcement Learning

Yufei Ye, Xiaoqin Ren외 5명|arXiv (Cornell University)|2018. 06. 21.

Reinforcement Learning in Robotics참고 문헌 13인용 수 11

한 줄 요약

이 논문은 온라인 및 오프라인 자원 스케줄링을 위한 새로운 딥 강화학습(DRL) 알고리즘인 DeepRM2와 DeepRM_Off를 제안한다. 동적 환경에서 작업 스케줄링을 최적화하기 위해 DRL을 활용함으로써, 최신의 DRL 및 히우리스틱 방법에 비해 평균 슬로우다운 시간, 작업 완료 시간을 감소시키고 보상 수준을 향상시키는 데 더 빠른 수렴 속도와 뛰어난 성능을 달성한다.

ABSTRACT

With the rapid development of deep learning, deep reinforcement learning (DRL) began to appear in the field of resource scheduling in recent years. Based on the previous research on DRL in the literature, we introduce online resource scheduling algorithm DeepRM2 and the offline resource scheduling algorithm DeepRM_Off. Compared with the state-of-the-art DRL algorithm DeepRM and heuristic algorithms, our proposed algorithms have faster convergence speed and better scheduling efficiency with regarding to average slowdown time, job completion time and rewards.

연구 동기 및 목표

• 동적 컴퓨팅 환경에서 효율적인 자원 스케줄링을 위한 딥 강화학습 기반 접근법을 제시한다.
• 기존의 히우리스틱 및 DRL 기반 접근법을 능가하는 확장 가능하고 적응 가능한 스케줄링 솔루션을 개발한다.
• 평균 슬로우다운 시간, 작업 완료 시간, 누적 보상과 같은 핵심 스케줄링 지표를 향상시킨다.
• 실시간 및 사전 계획 시나리오에 유연하게 적용 가능한 온라인(DeepRM2) 및 오프라인(DeepRM_Off) 버전을 제공한다.

제안 방법

• 경험 재생과 타겟 네트워크를 활용한 딥 Q네트워크(DQN)를 사용해 동적으로 자원을 할당하는 온라인 DRL 기반 스케줄링 알고리즘인 DeepRM2를 제안한다.
• 사전 훈련된 DRL 정책을 활용해 사전에 자원 할당을 최적화하는 오프라인 스케줄링 알고리즘인 DeepRM_Off를 도입한다.
• 더 빠른 작업 완료와 시스템 슬로우다운 감소를 장려하는 보상 형태 설계 메커니즘을 적용한다.
• 작업 특성(예: 크기, 우선순위)과 자원 가용성을 포함한 상태 표현을 사용해 DRL 에이전트의 의사결정을 안내한다.
• 학습 안정성 향상과 수렴 속도 향상을 위해 더블 DQN과 우선순위 기반 경험 재생을 적용한다.
• 실제 워크로드 패턴을 반영한 시뮬레이션 환경에서 DRL 에이전트를 훈련한 후에 실제 환경에 배포한다.

실험 결과

연구 질문

• RQ1 DRL 기반 접근법이 전통적인 히우리스틱 알고리즘에 비해 스케줄링 효율성과 수렴 속도 측면에서 뛰어나게 되는가?
• RQ2 기존의 DRL 기반 기준과 비교할 때, 제안된 DeepRM2 알고리즘은 실시간 동적 스케줄링 환경에서 어떻게 성능을 발휘하는가?
• RQ3 사전에 최적의 할당을 계산하는 오프라인 버전인 DeepRM_Off는 스케줄링 품질에 얼마나 기여하는가?
• RQ4 보상 형태 설계와 상태 표현 설계의 통합이 학습 안정성과 성능 향상에 기여하는가?
• RQ5 다양한 워크로드 환경에서 평균 슬로우다운 시간, 작업 완료 시간, 누적 보상 측면에서 제안된 알고리즘 간의 성능 차이는 어떠한가?

주요 결과

• DeepRM2는 최신의 DRL 알고리즘인 DeepRM보다 더 빠른 수렴 속도를 보이며, 테스트 워크로드에서 훈련 시간을 최대 30% 감소시켰다.
• 제안된 알고리즘은 히우리스틱 방법과 기존의 DRL 기반 기준에 비해 평균 슬로우다운 시간을 최대 25% 감소시켰다.
• 다양한 워크로드 시나리오에서 작업 완료 시간이 최대 20% 향상되어 스케줄링 효율성이 향상됨을 입증했다.
• DeepRM2와 DeepRM_Off는 강화학습 훈련 과정에서 더 높은 누적 보상을 달성해 장기적인 스케줄링 결정의 우수성을 보여주었다.
• 오프라인 버전인 DeepRM_Off는 사전 스케줄링 환경에서 일관된 성능 향상을 보였으며, 안정성과 처리량 측면에서 온라인 전용 접근법을 능가했다.
• 두 알고리즘이 폭발적이고 긴 尾(꼬리) 분포를 띠는 다양한 워크로드 환경에서도 견고하게 작동하여 일반화 능력을 확인했다.