[논문 리뷰] Africanus IV. The Stimela2 framework: scalable and reproducible workflows, from local to cloud compute

O. Smirnov, Sphesihle Makhathini외 5명|arXiv (Cornell University)|2024. 12. 13.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

Stimela2는 인간이 읽을 수 있는 YAML 레시피와 컨테이너화된 실행을 통해 로컬 머신에서 AWS와 같은 클라우드 환경에 이르기까지 이식 가능하고, 버전 관리가 가능한 방식으로 라디오 천문학 데이터 감소를 위한 확장성 있고 재현 가능한 워크플로우 프레임워크이다. Slurm과 쿠버네티스에 대한 내장된 통합을 통해 모듈형이고 조합 가능한 워크플로우를 지원하며, 컨테이너화된, 버전 관리가 된 종속성과 공인 워크플로우를 위한 인증 모델을 통해 재현 가능성을 보장한다.

ABSTRACT

Stimela2 is a new-generation framework for developing data reduction workflows. It is designed for radio astronomy data but can be adapted for other data processing applications. Stimela2 aims at the middle ground between ease of development, human readability, and enabling robust, scalable and reproducible workflows. It represents workflows by linear, concise and intuitive YAML-format "recipes". Atomic data reduction tasks (binary executables, Python functions and code, and CASA tasks) are described by YAML-format "cab definitions" detailing each task's "schema" (inputs and outputs). Stimela2 provides a rich syntax for chaining tasks together, and encourages a high degree of modularity: recipes may be nested into other recipes, and configuration is cleanly separated from recipe logic. Tasks can be executed natively or in isolated environments using containerization technologies such as Apptainer. The container images are open-source and maintained through a companion package called cult-cargo. This enables the development of system-agnostic and fully reproducible workflows. Stimela2 facilitates the deployment of scalable, distributed workflows by interfacing with the Slurm scheduler and the Kubernetes API. The latter allows workflows to be readily deployed in the cloud. Previous papers in this series used Stimela2 as the underlying technology to run workflows on the AWS cloud. This paper presents an overview of Stimela2's design, architecture and use in the radio astronomy context.

연구 동기 및 목표

• 라디오 천문학 분야의 재현 가능성 위기를 해결하기 위해 완전히 감사 가능하고, 버전 관리가 가능한 데이터 감소 워크플로우를 제공하는 것.
• 전문가가 사용하는 '히어로 모드' 데이터 감소와 비전문가 사용자가 수정 가능한 파이프라인 간 격차를 메우는 것.
• 벤더 종속 없이 로컬, HPC, 클라우드 환경(예: AWS, 쿠버네티스) 간 워크플로우를 원활하게 배포할 수 있도록 지원하는 것.
• 새로운 도구와 알고리즘을 표준화된 데이터 감소 파이프라인에 쉽게 통합할 수 있도록 모듈형이고 조합 가능한 프레임워크를 제공하는 것.
• 버전 관리된 컨테이너 이미지와 암호학적 해시를 사용해 계산 및 과학적 재현 가능성을 보장하는 워크플로우 인증 모델을 수립하는 것.

제안 방법

• 작업 순서와 데이터 흐름을 기술하는 간결하고 인간이 읽을 수 있는 YAML 레시피를 사용해 워크플로우를 정의한다.
• 원자적 데이터 감소 작업은 입력, 출력, 실행 컨텍스트(예: 파이썬, CASA, 또는 바이너리)를 지정하는 YAML 'cab' 정의를 통해 기술된다.
• 작업은 네이티브 방식 또는 격리된 Apptainer 컨테이너 내에서 실행되며, 컨테이너 이미지는 오픈소스 'cult-cargo' 패키지를 통해 관리된다.
• 프레임워크는 로컬 시스템, Slurm로 관리되는 HPC 클러스터, 쿠버네티스 기반 클라우드 환경에서의 실행을 지원하여 수평적 확장을 가능하게 한다.
• 모든 소프트웨어 및 이미지 버전을 나열하는 종속성 파일을 자동으로 생성함으로써 재현 가능성을 향상시킨다.
• 인증 모델을 제안하며, YAML 레시피, 입력 데이터, 컨테이너 이미지의 해시를 결합해 암호학적으로 검증 가능한 워크플로우 서명을 생성한다.

실험 결과

연구 질문

• RQ1 라디오 천문학에서 데이터 감소 워크플로우는 다양한 컴퓨팅 환경에서 어떻게 확장성과 재현 가능성을 동시에 확보할 수 있는가?
• RQ2 성능나 이식성의 손실 없이도 모듈형이고 조합 가능하며 인간이 읽을 수 있는 워크플로우를 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 컨테이너화와 버전 관리된 종속성은 복잡한 데이터 파이프라인에서 계산 및 과학적 재현 가능성을 얼마나 잘 보장할 수 있는가?
• RQ4 클라우드 네이티브 오케스트레이션(예: 쿠버네티스)은 어떻게 과학적 워크플로우에 통합되어 탄력적이고 분산된 실행을 지원할 수 있는가?
• RQ5 재현 가능한 워크플로우를 인증하기 위한 메커니즘은 무엇이며, 이를 어떻게 광범위한 연구 공동체가 도입할 수 있는가?

주요 결과

• Stimela2는 인간이 읽을 수 있고 기계로 실행 가능한 모듈형 YAML 기반 레시피 시스템을 사용해 라디오 천문학에 대한 종단 간 데이터 감소 워크플로우를 가능하게 한다.
• 프레임워크는 로컬 머신, Slurm로 관리되는 HPC 클러스터, 쿠버네티스를 통한 클라우드 환경에서의 실행을 지원하여 소규모에서 대규모 워크로드까지 원활한 확장을 가능하게 한다.
• Apptainer를 통한 컨테이너화와 'cult-cargo' 패키지의 조합을 통해 모든 종속성이 버전 관리되고 시스템에 종속되지 않아 재현 가능성이 크게 향상된다.
• 암호학적으로 서명된 워크플로우 서명을 레시피, 입력 데이터, 컨테이너 이미지에서 생성할 수 있는 인증 모델을 제안하며, 검증 가능한 재현 가능성을 보장한다.
• 프레임워크는 AWS에서 확장 가능한 워크플로우를 성공적으로 배포하여 클라우드 기반 라디오 천문학 처리에 대한 실현 가능성을 입증했다.
• 실제 MeerKAT 데이터셋을 AWS에 호스팅하여 공동체 차원에서 보정 및 이미징 알고리즘의 정량적이고 재현 가능한 비교를 목적으로 하는 공개 레시피 경진 대회를 계획 중이다.