[논문 리뷰] Deep Reinforcement Agent for Scheduling in HPC

Yuping Fan, Zhiling Lan외 4명|arXiv (Cornell University)|2021. 02. 11.

Cloud Computing and Resource Management참고 문헌 18인용 수 9

한 줄 요약

이 논문은 고성능 컴퓨팅(HPC) 환경에서 자원 예약과 백필링을 통합하여 동적으로 작업 스케줄링을 최적화하는 계층적 신경망을 사용하는 딥 강화학습 기반 스케줄링 에이전트인 DRAS를 제안한다. DRAS는 워크로드 변화에 자동으로 학습하고 적응하여 기존 히ュ리스틱 및 최적화 방법 대비 평균 작업 대기 시간을 최대 45% 감소시키며, 작업의 음식권 문제를 방지하고 낮은 런타임 오버헤드를 유지한다.

ABSTRACT

Cluster scheduler is crucial in high-performance computing (HPC). It determines when and which user jobs should be allocated to available system resources. Existing cluster scheduling heuristics are developed by human experts based on their experience with specific HPC systems and workloads. However, the increasing complexity of computing systems and the highly dynamic nature of application workloads have placed tremendous burden on manually designed and tuned scheduling heuristics. More aggressive optimization and automation are needed for cluster scheduling in HPC. In this work, we present an automated HPC scheduling agent named DRAS (Deep Reinforcement Agent for Scheduling) by leveraging deep reinforcement learning. DRAS is built on a novel, hierarchical neural network incorporating special HPC scheduling features such as resource reservation and backfilling. A unique training strategy is presented to enable DRAS to rapidly learn the target environment. Once being provided a specific scheduling objective given by system manager, DRAS automatically learns to improve its policy through interaction with the scheduling environment and dynamically adjusts its policy as workload changes. The experiments with different production workloads demonstrate that DRAS outperforms the existing heuristic and optimization approaches by up to 45%.

연구 동기 및 목표

• 복잡하고 동적인 HPC 환경에서 정적이고 수동으로 튜닝된 스케줄링 히ュ리스틱의 한계를 해결한다.
• 변동성이 크고 예측할 수 없는 워크로드에서 작업 대기 시간을 줄이고 음식권 문제를 방지한다.
• 사용자 간섭 없이 클러스터 스케줄링의 정책 학습과 적응을 자동화한다.
• 역사적 작업 트레이스를 학습하여 장기적인 성능 최적화를 달성하고 변화하는 시스템 로드에 적응한다.
• 정의된 공정성, 작업 우선순위, 자원 효율성의 균형을 유지하면서 높은 시스템 활용도를 달성한다.

제안 방법

• 2단계 신경망을 가진 계층적 딥 강화학습 에이전트(DRAS)를 설계: 1단계는 즉시 실행 또는 예약 실행을 위한 작업 선택, 2단계는 백필된 작업 선택.
• HPC 전용 스케줄링 기능인 자원 예약과 백필링을 강화학습 공식에 직접 통합한다.
• 단순한 시나리오에서 복잡한 워크로드 시나리오로 점진적으로 전이되는 3단계 훈련 전략을 개발하여 빠르고 안정적인 수렴을 가능하게 한다.
• 생산용 HPC 시스템(Cori 및 Theta)의 역사적 작업 트레이스를 사용해 DRAS를 훈련하여 시스템 및 워크로드 특화된 스케줄링 정책을 학습한다.
• 누적 보상 최적화를 위해 Proximal Policy Optimization(PPO)와 Deep Q-Learning(DQL)을 훈련 알고리즘으로 사용한다.
• 시스템 로드 변화에 대응하기 위해 추론 중에 네트워크 파라미터를 동적으로 조정하여 워크로드 급증 상황에서도 견고한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 정적 히ュ리스틱 및 최적화 방법을 초월하여 HPC 스케줄링을 효과적으로 최적화할 수 있는가?
• RQ2 DRAS는 높은 시스템 활용도와 낮은 평균 작업 대기 시간을 유지하면서도 작업의 음식권 문제를 얼마나 잘 방지하는가?
• RQ3 수동 재튜닝 없이 DRAS가 동적인 워크로드 변화에 얼마나 잘 스케줄링 정책을 적응시킬 수 있는가?
• RQ4 실제 HPC 워크로드 환경에서 FCFS, BinPacking, Decima와 같은 기존 방법과 비교해 DRAS의 성능은 어떠한가?
• RQ5 DRAS의 런타임 오버헤드는 얼마이며, 생산용 HPC 환경에서 온라인 배포에 실용적인가?

주요 결과

• DRAS는 Cori 및 Theta의 실제 HPC 트레이스에서 기존 히ュ리스틱 및 최적화 방법 대비 평균 작업 대기 시간을 최대 45% 감소시킨다.
• DRAS는 준비된 작업 및 백필된 작업의 대기 시간을 FCFS, Decima-PG, Optimization보다 뚜렷이 줄이며, 특히 고부하 상황에서 두드러진 성능을 보인다.
• 계층적 설계 덕분에 DRAS는 큰 작업을 효과적으로 예약하여 음식권 문제를 방지한다—기타 방법에 비해 대기 시간이 2배에서 10배 더 길어질 수 있는 작업들에 대해 특히 유리하다.
• 워크로드 급증 상황에서 DRAS는 정책을 동적으로 조정하여 정적 방법보다 더 큰 대기 시간 감소를 달성한다.
• DRAS-PG와 DRAS-DQL 모두 낮은 런타임 오버헤드를 보이며, 표준 개인용 컴퓨터에서 업데이트당 추론 시간이 2초 이내로, 온라인 배포에 적합하다.
• 3단계 훈련 과정 덕분에 DRAS는 다양한 워크로드 패턴, 특히 드문 복잡한 시나리오까지도 신속하게 수렴하고 잘 일반화한다.