[논문 리뷰] Job Scheduling in High Performance Computing

Yuping Fan|arXiv (Cornell University)|2021. 09. 20.

Cloud Computing and Resource Management참고 문헌 36인용 수 10

한 줄 요약

이 논문은 실시간 모니터링, 적응형 의사결정, 동적 피드백 메커니즘을 통합하여 시스템 효율성과 작업 성능을 향상시키는 지능형 HPC 작업 스케줄링 프레임워크를 제안한다. 이 프레임워크는 확장성, 자원 경쟁, 워크로드 다양성 문제를 해결하기 위해 자원 관리자, 작업 관리자, 스케줄링 의사결정기, 성능 모니터로 구성된 모듈식 아키텍처를 특징으로 한다.

ABSTRACT

The ever-growing processing power of supercomputers in recent decades enables us to explore increasing complex scientific problems. Effective scheduling these jobs is crucial for individual job performance and system efficiency. The traditional job schedulers in high performance computing (HPC) are simple and concentrate on improving CPU utilization. The emergence of new hardware resources and novel hardware structure impose severe challenges on traditional schedulers. The increasing diverse workloads, including compute-intensive and data-intensive applications, require more efficient schedulers. Even worse, the above two factors interplay with each other, which makes scheduling problem even more challenging. In recent years, many research has discussed new scheduling methods to combat the problems brought by rapid system changes. In this research study, we have investigated challenges faced by HPC scheduling and state-of-art scheduling methods to overcome these challenges. Furthermore, we propose an intelligent scheduling framework to alleviate the problems encountered in modern job scheduling.

연구 동기 및 목표

• 폭발적인 성장하는 HPC 워크로드와 변화하는 하드웨어 아키텍처(예: 버스트 버퍼, 고루프 라우팅 네트워크 포함)를 다루기 위해.
• 전통적 스케줄러(예: FCFS, 백필링)의 한계를 극복하여 CPU 활용도를 우선시하면서도 작업 성능과 공정성을 고려하지 않는 문제를 해결하기 위해.
• 공유되며 이질적이고 동적인 자원을 가진 대규모 HPC 시스템에서의 확장성과 반응성 향상을 위해.
• 다양한 시스템 목표(예: 시간 민감 워크로드에 대한 저지연 응답, 대규모 작업의 효율적 실행)에 적응 가능한 지능형, 정책 유연성 있는 스케줄링을 가능하게 하기 위해.
• 지속적인 작업 및 시스템 동작 모니터링을 통한 성능 저하 탐지 및 수정을 위한 피드백 기반 메커니즘을 도입하기 위해.

제안 방법

• 자원 관리자, 작업 관리자, 스케줄링 의사결정기, 시스템 성능 모니터, 작업 성능 모니터로 구성된 다섯 가지 핵심 구성 요소를 갖춘 모듈식 지능형 스케줄링 프레임워크를 설계하기 위해.
• 스케줄링 의사결정기가 시스템 목표(예: 공정성, 활용도, 저지연)에 따라 동적으로 정책을 선택할 수 있도록 하여 다양한 스케줄링 알고리즘의 플러그인을 가능하게 하기 위해.
• 이상 징후(예: 장시간 대기, 비정상 종료, 자원 경쟁)를 탐지하기 위해 시스템 및 작업 상태의 실시간 모니터링을 구현하기 위해.
• 성능 모니터로부터의 피드백을 활용해 스케줄링 의사결정에 적응형 조정을 유도함으로써 장기적인 시스템 효율성을 향상시키기 위해.
• 복잡한 자원 토폴로지와 대규모 HPC 시스템에서의 확장성을 확보하기 위해 계층적 및 분산 스케줄링 원칙을 통합하기 위해.
• 세분화된 자원 할당 및 동적 자원 예약을 통해 계산 집약적 및 데이터 집약적 워크로드를 포함한 다양한 워크로드를 지원하기 위해.

실험 결과

연구 질문

• RQ1 현대 HPC 스케줄러는 빠르게 변화하는 하드웨어 아키텍처와 다양한 동적 워크로드 간의 상호작용을 효과적으로 관리할 수 있는가?
• RQ2 공정성, 활용도, 저지연 응답과 같은 다양한 시스템 목표를 지원할 수 있는 지능적이고 적응형 스케줄링을 가능하게 하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ3 실시간 시스템 및 작업 성능 모니터링을 스케줄링 파이프라인에 통합하여 피드백 기반 최적화를 가능하게 할 수 있는가?
• RQ4 기존 스케줄러는 버스트 버퍼나 고루프 라우팅 네트워크(Dragonfly 등)와 같은 신규 자원을 어떻게 확장하여 지원할 수 있는가?
• RQ5 공유되며 경쟁이 발생하기 쉬운 자원 환경에서 대규모 HPC 환경의 확장성과 장애 내성은 어떤 메커니즘으로 보장되는가?

주요 결과

• Slurm 및 Moab/TORQUE와 같은 기존 HPC 스케줄러는 정적 정책과 동적 워크로드, 새로운 하드웨어에 대한 지원이 제한되어 있어 현대 시스템에는 부적합하다.
• 제안된 지능형 프레임워크는 실시간 시스템 및 작업 모니터링 기반으로 스케줄링 정책을 동적으로 적응시켜 반응성과 효율성을 향상시킨다.
• 성능 모니터링 구성 요소는 장시간 대기나 조기 종료와 같은 비정상적인 작업 행동을 탐지할 수 있으며, 이는 사전 시스템 간섭을 가능하게 한다.
• 시스템 및 작업 성능 모니터의 통합은 특정 사용자, 프로젝트 또는 응용 프로그램 패턴과 관련된 성능 저하 요인을 식별하는 데 도움이 된다.
• 모듈식 아키텍처 덕분에 확장성이 보장되어, 현장에 맞는 목표에 따라 백필링, 지연 스케줄링, WFP 등의 다양한 스케줄링 알고리즘을 통합할 수 있다.
• 계층적 및 분산 스케줄링 모델을 지원함으로써, 복잡한 자원 토폴로지와 공유 인프라를 가진 대규모 HPC 시스템에 효과적으로 스케일링할 수 있다.