[論文レビュー] Africanus IV. The Stimela2 framework: scalable and reproducible workflows, from local to cloud compute

O. Smirnov, Sphesihle Makhathini+5 more|arXiv (Cornell University)|Dec 13, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

Stimela2 は、人間が読みやすい YAML レシピとコンテナ化実行を用いて、ローカルマシンから AWS などのクラウド環境まで、ポータブルでバージョン管理可能な処理を可能にするスケーラブルで再現可能なワークフロー枠組みです。Slurm や Kubernetes とのネイティブ統合を備えたモジュラーや合成可能なワークフローをサポートし、コンテナ化されたバージョン管理済みの依存関係と認証モデルにより、再現性を確保します。

ABSTRACT

Stimela2 is a new-generation framework for developing data reduction workflows. It is designed for radio astronomy data but can be adapted for other data processing applications. Stimela2 aims at the middle ground between ease of development, human readability, and enabling robust, scalable and reproducible workflows. It represents workflows by linear, concise and intuitive YAML-format "recipes". Atomic data reduction tasks (binary executables, Python functions and code, and CASA tasks) are described by YAML-format "cab definitions" detailing each task's "schema" (inputs and outputs). Stimela2 provides a rich syntax for chaining tasks together, and encourages a high degree of modularity: recipes may be nested into other recipes, and configuration is cleanly separated from recipe logic. Tasks can be executed natively or in isolated environments using containerization technologies such as Apptainer. The container images are open-source and maintained through a companion package called cult-cargo. This enables the development of system-agnostic and fully reproducible workflows. Stimela2 facilitates the deployment of scalable, distributed workflows by interfacing with the Slurm scheduler and the Kubernetes API. The latter allows workflows to be readily deployed in the cloud. Previous papers in this series used Stimela2 as the underlying technology to run workflows on the AWS cloud. This paper presents an overview of Stimela2's design, architecture and use in the radio astronomy context.

研究の動機と目的

• 電波観測分野における再現性の危機に対処し、完全に監査可能でバージョン管理されたデータ還元ワークフローを可能にすること。
• 専門家による「ヒーローモード」のデータ還元と、非専門家ユーザーが容易に変更可能なパイプラインの間のギャップを埋めること。
• ベンダーロックインを回避しながら、ローカル環境、HPC、クラウド環境（例：AWS、Kubernetes）へのワークフローのシームレスなデプロイを可能にすること。
• 新しいツールやアルゴリズムを標準化されたデータ還元パイプラインに簡素に統合できる、モジュラーや合成可能なフレームワークを提供すること。
• バージョン管理されたコンテナイメージと暗号ハッシュを用いて、計算的および科学的再現性を保証するワークフロー認証モデルを確立すること。

提案手法

• ワークフローは、タスクの順序とデータフローを記述する簡潔で人間が読みやすい YAML レシピで定義される。
• 原子的データ還元タスクは、入力、出力、実行コンテキスト（例：Python、CASA、またはバイナリ）を指定する YAML の「cab」定義で記述される。
• タスクはネイティブまたは隔離された Apptainer コンテナ内で実行され、コンテナイメージはオープンソースの「cult-cargo」パッケージで管理される。
• フレームワークは、ローカルシステム、Slurm 管理の HPC クラスタ、Kubernetes ベースのクラウド環境での実行をサポートし、水平スケーリングを実現する。
• 再現性は、ワークフローで使用されたすべてのソフトウェアおよびイメージバージョンをリストする依存関係ファイルの自動生成により向上する。
• 認証モデルが提案され、YAML レシピ、入力データ、コンテナイメージのハッシュを組み合わせて、暗号的に検証可能なワークフローシグネチャを生成する。

実験結果

リサーチクエスチョン

• RQ1 電波観測分野のデータ還元ワークフローは、どのようにして多様なコンピューティング環境でスケーラブルかつ再現可能にできるか？
• RQ2 パフォーマンスやポータビリティを損なわず、モジュラーや合成可能で人間が読みやすいワークフローを実現するためのアーキテクチャパターンは何か？
• RQ3 コンテナ化とバージョン管理された依存関係は、複雑なデータパイプラインにおいて、計算的および科学的再現性をどの程度確保できるか？
• RQ4 クラウドネイティブオーケストレーション（例：Kubernetes）は、スケーラブルで分散実行を可能にする科学的ワークフローにどのように統合できるか？
• RQ5 再現可能なワークフローを認証するためのメカニズムは何か？そして、それらはどのようにして広範な研究コミュニティに採用されるか？

主な発見

• Stimela2 は、人間が読みやすく機械実行可能なモジュラーな YAML レシピシステムを用いて、電波観測分野のエンドツーエンドのデータ還元ワークフローを可能にしている。
• フレームワークは、ローカルマシン、Slurm 管理の HPC クラスタ、Kubernetes ベースのクラウド環境での実行をサポートしており、小規模から大規模なワークロードへのスケーリングをシームレスに実現している。
• Apptainer を用いたコンテナ化と「cult-cargo」パッケージにより、すべての依存関係がバージョン管理され、システムに依存しなくなり、再現性が顕著に向上した。
• 認証モデルが提案され、レシピ、入力データ、コンテナイメージから暗号的に署名されたワークフローシグネチャを生成できるため、検証可能な再現性が実現できる。
• フレームワークは AWS 上でスケーラブルなワークフローのデプロイに成功しており、クラウドベースの電波観測処理における実用性を示している。
• 本物の MeerKAT データセットを AWS 上にホスティングし、公開レシピコンペティションを計画しており、コミュニティ全体でキャリブレーションおよびイメージングアルゴリズムの定量的かつ再現可能な比較を可能にする。