[논문 리뷰] RADICAL-Cybertools: Middleware Building Blocks for Scalable Science

Vivek Balasubramanian, Shantenu Jha외 2명|arXiv (Cornell University)|2019. 04. 05.

Scientific Computing and Data Management참고 문헌 13인용 수 17

한 줄 요약

RADICAL-Cybertools (RCT)는 확장 가능한 과학 계산을 위한 모듈형이고 조합 가능한 미들웨어 프레임워크를 제공하며, 이는 이질적인 HPC 및 HTC 인fra에서 복잡한 워크로드의 고성능 실행을 가능하게 한다. 피лот 기반 작업 관리 및 앙상블 워크플로우 추상화를 활용함으로써 RCT는 생물물리학 및 기후 모델링과 같은 분야에서 초대규모 과학을 지원하며, 다양한 플랫폼 간 저코드, 이식 가능하고 상호운용 가능한 실행을 통해 수억 개의 코어 시간을 달성한다.

ABSTRACT

RADICAL-Cybertools (RCT) are a set of software systems that serve as middleware to develop efficient and effective tools for scientific computing. Specifically, RCT enable executing many-task applications at extreme scale and on a variety of computing infrastructures. RCT are building blocks, designed to work as stand-alone systems, integrated among themselves or integrated with third-party systems. RCT enables innovative science in multiple domains, including but not limited to biophysics, climate science and particle physics, consuming hundreds of millions of core hours. This paper provides an overview of RCT systems, their impact, and the architectural principles and software engineering underlying RCT

연구 동기 및 목표

• 이질적인 컴퓨팅 인프라를 통해 확장 가능하고 다양한 과학 워크로드, 그리고 변화하는 요구사항을 지원하는 도전 과제를 해결한다.
• 기능을 인프라에서 분리하고 다양한 과학 분야에서 재사용이 가능한 지속 가능한, 조합 가능한 미들웨어 빌딩 블록을 설계한다.
• 단일 모듈형 미들웨어의 한계를 극복하여 모듈형, 조합 가능하고 상호운용 가능한 시스템을 제공함으로써 제3자 도구와 통합할 수 있도록 한다.
• CPU, GPU 및 가속기에서 동시적으로, 이질적이고 동적으로 조율된 작업 실행이 필요한 초대규모 과학 응용 프로그램을 지원한다.
• 피лот 및 앙상블 워크플로우와 같은 고수준 추상화를 통해 도메인 과학자들이 워크플로우 및 자원 관리의 저수준 세부 사항에서 자유로워지고 과학에 집중할 수 있도록 한다.

제안 방법

• 계산 자원을 '피롯'으로 추상화하여 배치 큐잉 없이 직접적인 계산 단위(CU) 스케줄링이 가능한 피롯 기반 실행 모델인 RADICAL-Pilot을 구현한다.
• 임의의 종속성 및 우선순위 관계를 가진 작업의 앙상블을 관리할 수 있는 고수준 프로그래밍 모델인 RADICAL-Ensemble Toolkit (EnTK)를 사용한다.
• 다양한 분산 자원에 대한 이식 가능하고 파이썬 기반의 인터페이스인 RADICAL-SAGA를 활용하여 작업 스케줄러, 파일 전송 및 프로비저닝 서비스 간의 상호운용성을 보장한다.
• 모듈성, 상태 없는 컴포넌트 및 전용 통신 메시를 기반으로 한 '빌딩 블록' 아키텍처 패턴을 적용하여 확장성, 장애 내성 및 조합 가능성을 확보한다.
• 각 컴포넌트를 독립적으로 배포하고 구성할 수 있도록 설계하여, Airflow, Oozie, Spark Streaming과 같은 제3자 도구와의 통합 및 단독 사용 모두를 지원한다.
• XSEDE, Blue Waters, DOE 리더십 머신 등 실제 HPC 및 HTC 시스템과 통합하여, 대규모에서의 성능 및 상호운용성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 다양한 컴퓨팅 인프라에서 초대규모, 이질적이고 동적인 과학 워크로드를 지원할 수 있는 미들웨어 아키텍처를 설계할 수 있는가?
• RQ2 지속 가능하고 조합 가능하며 상호운용 가능한 과학 미들웨어를 설계하기 위해 어떤 아키텍처 패턴이 필요한가?
• RQ3 피롯 기반 및 앙상블 기반 추상화는 대규모 과학 워크플로우의 배포 및 관리 복잡성을 얼마나 줄일 수 있는가?
• RQ4 조합 가능한 미들웨어 빌딩 블록은 다양한 과학 분야에서 개발자 생산성 향상과 중복 노력을 줄이는 데 얼마나 기여하는가?
• RQ5 단일 모듈형 개발 없이도, 소규모이고 민첩한 팀이 동시에 진행되는 여러 과학 프로젝트를 통해 고성능 미들웨어 시스템을 유지하고 확장할 수 있는가?

주요 결과

• RCT는 생물물리학, 기후 과학, 입자 물리학을 포함한 다양한 과학 분야에서 수억 개의 코어 시간을 달성한 바 있다.
• RCT와 HTBAC의 통합은 실제 약물 후보 물질에 대한 실험에서 자유 에너지 계산의 솔루션 시간을 약 2.5배 단축시켰다.
• AIMES 프로젝트는 스케줄링 결정에 작업 및 자원 메타데이터를 통합함으로써 연합형 HPC 환경에서 성능과 확장성을 향상시켰다는 것을 입증했다.
• ICEBERG는 단일 프레임워크 내에서 RADICAL-Pilot과 EnTK를 모두 활용하여 5개의 서로 다른 극지 과학 사용 사례를 지원하였으며, 워크로드 유형에 따라 최소한의 API 변경만으로도 가능했다.
• ExTASY와 RepEx는 EnTK를 사용하여 복잡한 생물분자 샘플링 워크플로우를 최소한의 공학적 부담으로 실행하였고, 워크플로우 구축보다 과학적 혁신에 집중할 수 있었다.
• 빌딩 블록 방식은 오직 두 명의 주요 개발자만으로도 지속 가능한 개발을 가능하게 하였으며, 조합 가능하고 재사용 가능하며 상호운용 가능한 컴포넌트를 통해 10개 이상의 동시 과학 프로젝트를 지원했다.