[논문 리뷰] Executing Dynamic and Heterogeneous Workloads on Super Computers

André Merzky, Mark Santcroos외 2명|arXiv (Cornell University)|2015. 12. 27.

Distributed and Parallel Computing Systems참고 문헌 44인용 수 7

한 줄 요약

이 논문은 초고성능 컴퓨터에서 이질적이고 예측 불가능한 워크로드를 동적으로 관리하기 위해 워크로드 명세, 자원 선택, 작업 실행을 분리하는 포트폴리오 기반의 파이썬 기반 피LOT 시스템인 RADICAL-Pilot(RP)을 제안한다. 작업 플레이스홀더와 후행 바인딩을 사용하여 이를 실현한다. 이 시스템은 1초당 100개 이상의 작업을 생성하고 최대 8,000개의 동시 작업을 유지할 수 있어 다양한 HPC 환경에서 확장성과 적응성을 입증한다.

ABSTRACT

Many scientific applications have workloads comprised of multiple heterogeneous tasks that are not known in advance and may vary in the resources needed during execution. However, high-performance computing systems are designed to support applications comprised of mostly monolithic, single-job workloads. Pilot systems decouple workload specification, resource selection, and task execution via job placeholders and late-binding. Pilot systems help to satisfy the resource requirements of workloads comprised of multiple tasks with the capabilities and usage policies of HPC systems. RADICAL-Pilot (RP) is a portable, modular and extensible Python-based Pilot system. In this paper we describe RP’s design, discuss how it is engineered, characterize its performance and show its ability to execute heterogeneous and dynamic workloads on a range of high-performance computing systems. RP is capable of spawning more than 100 tasks/second and the steady-state execution of up to 8,000 concurrent tasks. RP can be used stand-alone, as well as integrated with other application-level tools as a runtime system.

연구 동기 및 목표

• 주로 단일 작업용으로 설계된 HPC 시스템에서 동적이고 이질적인 과학적 워크로드를 실행하는 도전 과제를 해결하기 위해.
• 워크로드 명세, 자원 선택, 작업 실행을 분리하여 적응성과 자원 활용도를 향상시키기 위해.
• 실행 도중 자원 수요가 예측 불가능할 경우에도 작업을 자원에 후행 바인딩하여 실행 가능하도록 하기 위해.
• 다양한 HPC 환경과 애플리케이션 도구와 호환되는 이식성 있고 모듈형이며 확장 가능한 런타임 시스템을 설계하기 위해.
• 실제 초고성능 컴퓨팅 시스템에서 복잡하고 동적인 워크로드를 실행할 때 높은 성능과 확장성을 입증하기 위해.

제안 방법

• 워크로드 정의와 자원 할당 및 실행을 분리하기 위해 작업 플레이스홀더를 사용하는 피LOT 기반 실행 모델을 채택한다.
• 필요한 시점에만 작업을 자원에 바인딩하는 후행 바인딩 의미 체계를 구현하여 자원 가용성과 워크로드 동적 특성에 대한 런타임 적응을 가능하게 한다.
• HPC 워크로드를 위한 모듈형, 확장 가능하며 이식 가능한 파이썬 기반 런타임 시스템으로 RADICAL-Pilot(RP)을 설계한다.
• 비동기 작업 생성과 동적 자원 프로비저닝을 사용하여 이질적 작업의 고처리량 실행을 지원한다.
• 애플리케이션 수준 도구와 런타임 시스템으로 통합하여 과학적 워크플로우에 원활한 배포를 가능하게 한다.
• 오버헤드를 최소화하고 동시성과 처리량을 극대화하기 위해 작업 스케줄링과 자원 관리를 최적화한다.

실험 결과

연구 질문

• RQ1 HPC 시스템에서 실행 도중 자원 요구 사항이 알려지지 않은 동적이고 이질적인 워크로드를 피LOT 시스템이 어떻게 효과적으로 관리할 수 있는가?
• RQ2 파이썬 기반 피LOT 시스템은 초고성능 컴퓨터에서 작업 처리량과 동시성 측면에서 어떤 성능 특성을 보이는가?
• RQ3 RADICAL-Pilot와 같은 모듈형이고 확장 가능한 피LOT 시스템이 수천 개의 동시 작업을 지원하기까지 얼마나 확장 가능한가?
• RQ4 후행 바인딩과 워크로드 명세의 실행에서의 분리가 HPC 환경에서의 적응성과 자원 활용도 향상에 어떻게 기여하는가?
• RQ5 RADICAL-Pilot는 독립형 시스템으로서 또는 기존 애플리케이션 수준 도구의 런타임 구성 요소로서 효과적으로 사용될 수 있는가?

주요 결과

• RADICAL-Pilot는 1초당 100개 이상의 작업을 생성하는 데 성공하여 동적 워크로드에 대한 높은 처리량을 입증한다.
• 시스템은 최대 8,000개의 동시 작업을 안정적으로 실행할 수 있어 HPC 시스템에서 강력한 확장성을 보여준다.
• 작업 명세와 자원 바인딩을 분리함으로써 자원 요구 사항이 다양한 이질적 워크로드를 성공적으로 관리한다.
• 이식성과 확장성이 뛰어나 다른 애플리케이션 수준 도구와 런타임 환경으로서의 통합을 지원한다.
• 후행 바인딩과 작업 플레이스홀더의 사용은 자원 가용성과 워크로드 특성의 런타임 변화에 효과적으로 대응할 수 있도록 한다.
• RADICAL-Pilot의 설계는 다양한 고성능 컴퓨팅 플랫폼에서 복잡하고 동적인 과학적 워크플로우를 효율적으로 실행할 수 있도록 한다.