[论文解读] Africanus IV. The Stimela2 framework: scalable and reproducible workflows, from local to cloud compute

O. Smirnov, Sphesihle Makhathini+5 more|arXiv (Cornell University)|Dec 13, 2024

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

Stimela2 是一个可扩展的、可重现的射电天文数据还原工作流框架，通过人类可读的 YAML 配方和容器化执行，实现从本地机器到 AWS 等云环境的可移植、版本控制的数据处理。它支持模块化、可组合的工作流，并原生集成 Slurm 和 Kubernetes，通过容器化、版本化的依赖关系和认证工作流模型，确保可重现性。

ABSTRACT

Stimela2 is a new-generation framework for developing data reduction workflows. It is designed for radio astronomy data but can be adapted for other data processing applications. Stimela2 aims at the middle ground between ease of development, human readability, and enabling robust, scalable and reproducible workflows. It represents workflows by linear, concise and intuitive YAML-format "recipes". Atomic data reduction tasks (binary executables, Python functions and code, and CASA tasks) are described by YAML-format "cab definitions" detailing each task's "schema" (inputs and outputs). Stimela2 provides a rich syntax for chaining tasks together, and encourages a high degree of modularity: recipes may be nested into other recipes, and configuration is cleanly separated from recipe logic. Tasks can be executed natively or in isolated environments using containerization technologies such as Apptainer. The container images are open-source and maintained through a companion package called cult-cargo. This enables the development of system-agnostic and fully reproducible workflows. Stimela2 facilitates the deployment of scalable, distributed workflows by interfacing with the Slurm scheduler and the Kubernetes API. The latter allows workflows to be readily deployed in the cloud. Previous papers in this series used Stimela2 as the underlying technology to run workflows on the AWS cloud. This paper presents an overview of Stimela2's design, architecture and use in the radio astronomy context.

研究动机与目标

• 通过实现完全可审计、版本控制的数据还原工作流，解决射电天文领域中的可重现性危机。
• 弥合专家级‘英雄模式’数据还原与非专家用户可访问、可修改的流水线之间的差距。
• 在本地、HPC 和云环境（如 AWS、Kubernetes）之间实现工作流的无缝部署，避免供应商锁定。
• 提供一个模块化、可组合的框架，简化新工具和算法向标准化数据还原流水线的集成。
• 建立工作流认证模型，使用版本化的容器镜像和密码学哈希，确保计算和科学上的可重现性。

提出的方法

• 工作流通过简洁、人类可读的 YAML 配方定义，描述任务序列和数据流。
• 原子化数据还原任务通过 YAML 'cab' 定义描述，指定输入、输出和执行上下文（如 Python、CASA 或二进制程序）。
• 任务可原生执行或在隔离的 Apptainer 容器中执行，容器镜像由开源的 'cult-cargo' 软件包管理。
• 该框架支持在本地系统、Slurm 管理的 HPC 集群和基于 Kubernetes 的云环境中执行，实现水平扩展。
• 通过自动生成依赖文件，列出工作流中使用的所有软件和镜像版本，增强可重现性。
• 提出一种认证模型，结合 YAML 配方、输入数据和容器镜像的哈希值，生成密码学可验证的工作流签名。

实验结果

研究问题

• RQ1 如何在多样化计算环境中使射电天文的数据还原工作流既可扩展又可重现？
• RQ2 哪些架构模式能够实现模块化、可组合且人类可读的工作流，同时不牺牲性能或可移植性？
• RQ3 容器化和版本化依赖在复杂数据流水线中能在多大程度上确保计算和科学上的可重现性？
• RQ4 如何将云原生编排（如 Kubernetes）集成到科学工作流中，以支持弹性、分布式执行？
• RQ5 可以建立哪些机制来认证工作流为可重现的？这些机制如何被更广泛的研究社区采纳？

主要发现

• Stimela2 通过模块化、基于 YAML 的配方系统，实现了射电天文端到端的数据还原工作流，兼具人类可读性和机器可执行性。
• 该框架支持在本地机器、通过 Slurm 管理的 HPC 集群以及通过 Kubernetes 的云环境中执行，实现从小规模到大规模工作负载的无缝扩展。
• 通过 Apptainer 和 'cult-cargo' 软件包实现的容器化，确保所有依赖关系均被版本化且与系统无关，显著提升了可重现性。
• 提出了一种认证模型，可通过配方、输入数据和容器镜像生成密码学签名的工作流签名，实现可验证的可重现性。
• 该框架已成功用于在 AWS 上部署可扩展的工作流，证明其在基于云的射电天文处理中的可行性。
• 计划使用托管在 AWS 上的真实 MeerKAT 数据集，举办公开的配方竞赛，旨在实现社区范围内对校准和成像算法的定量、可重现比较。