[論文レビュー] Building Containerized Environments for Reproducibility and Traceability of Scientific Workflows

Paula Olaya, Jay Lofstead+1 more|arXiv (Cornell University)|Sep 17, 2020

Scientific Computing and Data Management参考文献 6被引用数 6

ひとこと要約

本論文は、Singularityを用いたOSレベルのコンテナ化環境を提案し、データとアプリケーションを隔離されたコンテナに封入することで、科学的ワークフローの再現性、追跡可能性、再現可能性を確保する。自動メタデータ収集を実現し、コンテナ間でのゼロコピーデータ転送を可能にし、長時間実行されるワークフローのオーバーヘッドを低減する。パフォーマンスコストを最小限に抑えつつ、データとメタデータの緊密かつ自動的なリンクを実現する。

ABSTRACT

Scientists rely on simulations to study natural phenomena. Trusting the simulation results is vital to develop sciences in any field. One approach to build trust is to ensure the reproducibility and traceability of the simulations through the annotation of executions at the system-level; by the generation of record trails of data moving through the simulation workflow. In this work, we present a system-level solution that leverages the intrinsic characteristics of containers (i.e., portability, isolation, encapsulation, and unique identifiers). Our solution consists of a containerized environment capable to annotate workflows, capture provenance metadata, and build record trails. We assess our environment on four different workflows and measure containerization costs in terms of time and space. Our solution, built with a tolerable time and space overhead, enables transparent and automatic provenance metadata collection and access, an easy-to-read record trail, and tight connections between data and metadata.

研究の動機と目的

• システムレベルのプロバンセンス収集を通じて、科学的ワークフローにおける再現性、再現可能性、追跡可能性を確保する課題に対処すること。
• 強力な隔離性とポータビリティを備えた現代のコンテナ技術を活用することで、従来のシステムレベルソリューションの限界を克服すること。
• 下位のコードを変更せずに、データおよびアプリケーションにメタデータを自動収集・リンクするワークフロー環境を設計すること。
• さまざまな科学的ワークフローにおけるコンテナ化のパフォーマンスオーバーヘッド（時間および空間）を評価すること。
• 複雑な科学的ワークフローにおいて、データおよびメタデータの透明で自動的かつ人間が読める記録の履歴を提供すること。

提案手法

• Singularityを用いて、科学的ワークフローの各コンponent（データおよびアプリケーション）を個別に隔離されたコンテナにカプセル化する。
• Singularityのバインドマウント機能を拡張し、入力コンテナと出力コンテナ間のディレクトリを直接リンクすることで、ゼロコピーデータ転送メカニズムを実装する。
• カスタムSingularityプラグインを用いて、すべてのワークフローコンponent（データ、アプリケーション、コンテナ）から静的メタデータを自動抽出する。
• メタデータを専用で隔離されたコンテナに保存するか、出力データコンテナ内にJSONパーティションとして保存することで、追跡可能性を確保する。
• コンテナ固有の識別子とシステムレベルのフックを用いて、ワークフロー実行のエンドツーエンドの追跡可能性と整合性を保証する。
• 可視化および機械学習ワークロードを含む、段階的に複雑化する4つのシナリオでワークフローを実行し、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 OSレベルのコンテナ化環境は、科学的ワークフローにおけるデータおよびアプリケーションにメタデータを自動的に収集・リンクできるか？
• RQ2 コンテナ化によるパフォーマンスオーバーヘッドは、サイズや実行時間の異なるワークフローにどのように影響を与えるか？
• RQ3 従来の2回コピー方式と比較して、コンテナ間でのゼロコピーデータ転送は、パフォーマンスにどの程度改善をもたらすか？
• RQ4 提案手法は、下位の科学的アプリケーションを変更せずに再現性と追跡可能性を確保できるか？
• RQ5 複雑で複数コンponentからなるワークフローにおいて、メタデータは人間が読める構造化形式でどのように保持され、アクセス可能になるか？

主な発見

• ゼロコピーデータ転送手法は、2回コピー方式と比較して平均して60.94%のウォールクロック時間の高速化を達成し、パフォーマンス向上が顕著に見られた。
• コンテナ化に伴う時間的オーバーヘッドは、より大規模かつ長時間実行されるワークフローでは許容可能な水準にまで低下し、実際の科学的ワークロードに実用的であることが示された。
• 空間的オーバーヘッドは主にOS、ソフトウェアスタック、ファイルシステムに起因し、データコンテナでは測定可能ではあるが管理可能な増加が見られた。
• プロトタイプは、単純な可視化から複雑な機械学習モデルまで、4つの評価対象ワークフローすべてについて、完全で自動的かつ人間が読める記録の履歴を構築できた。
• コンテナ識別子とシステムレベルのフックを介して、メタデータがデータおよびアプリケーションに緊密にリンクされ、エンドツーエンドの追跡可能性が保証された。
• 提案手法は、下位の科学的アプリケーションに一切の変更を加える必要がなく、アプリケーションに依存しない、透明な性質を示した。