[论文解读] Building Containerized Environments for Reproducibility and Traceability of Scientific Workflows

Paula Olaya, Jay Lofstead+1 more|arXiv (Cornell University)|Sep 17, 2020

Scientific Computing and Data Management参考文献 6被引用 6

一句话总结

本文提出一种基于 Singularity 的操作系统级容器化环境，通过将数据和应用程序封装在隔离容器中并自动捕获元数据，确保科学工作流的可重现性、可追溯性和可复现性。该方法实现了容器间零拷贝数据传输，降低了长时间运行工作流的开销，并以极低的性能代价实现了数据与元数据之间的紧密、自动关联。

ABSTRACT

Scientists rely on simulations to study natural phenomena. Trusting the simulation results is vital to develop sciences in any field. One approach to build trust is to ensure the reproducibility and traceability of the simulations through the annotation of executions at the system-level; by the generation of record trails of data moving through the simulation workflow. In this work, we present a system-level solution that leverages the intrinsic characteristics of containers (i.e., portability, isolation, encapsulation, and unique identifiers). Our solution consists of a containerized environment capable to annotate workflows, capture provenance metadata, and build record trails. We assess our environment on four different workflows and measure containerization costs in terms of time and space. Our solution, built with a tolerable time and space overhead, enables transparent and automatic provenance metadata collection and access, an easy-to-read record trail, and tight connections between data and metadata.

研究动机与目标

• 为通过系统级溯源捕获解决科学工作流中可重现性、可复现性和可追溯性挑战。
• 通过利用具备强隔离性和可移植性的现代容器技术，克服先前系统级解决方案的局限性。
• 设计一种工作流环境，可自动收集并链接元数据至数据和应用程序，且无需修改底层代码。
• 评估容器化在时间与空间维度上对不同类型科学工作流的性能开销。
• 实现在复杂科学工作流中对数据与元数据的透明、自动且人类可读的记录链。

提出的方法

• 使用 Singularity 将科学工作流的每个组件——数据和应用程序——封装到独立的隔离容器中。
• 通过扩展 Singularity 的绑定挂载（bind mount）功能，实现零拷贝数据传输机制，直接链接输入和输出容器中的目录。
• 使用自定义 Singularity 插件自动提取所有工作流组件（数据、应用程序、容器）的静态元数据。
• 将元数据存储在专用的隔离容器中，或作为 JSON 分区嵌入输出数据容器中，以确保可追溯性。
• 利用容器唯一标识符和系统级钩子（hooks），确保工作流执行的端到端可追溯性和完整性。
• 在四个逐步复杂的场景中执行工作流，包括可视化和机器学习工作负载，以验证该方法的有效性。

实验结果

研究问题

• RQ1 在操作系统级别，容器化环境能否自动捕获并链接元数据至科学工作流中的数据和应用程序？
• RQ2 容器化的性能开销如何影响不同规模和执行时间的工作流？
• RQ3 与传统的双拷贝方法相比，容器间零拷贝数据传输在多大程度上提升了性能？
• RQ4 所提出的解决方案是否能在不修改底层科学应用程序的前提下，确保可重现性和可追溯性？
• RQ5 在复杂、多组件的工作流中，元数据如何以人类可读的结构化格式被保留和访问？

主要发现

• 与双拷贝方法相比，零拷贝数据传输方法在平均墙钟时间上实现了 60.94% 的加速，显著提升了性能。
• 对于更大规模和更长运行时间的工作流，容器化的时序开销变得可接受，使该方案适用于实际的科学工作负载。
• 空间开销主要由操作系统、软件栈和文件系统决定，数据容器表现出可测量但可控的增加。
• 原型成功为所有四个评估的工作流（从简单可视化到复杂机器学习模型）构建了完整、自动且人类可读的记录链。
• 通过容器标识符和系统级钩子，元数据与数据和应用程序实现了紧密绑定，确保了端到端的可追溯性。
• 该解决方案无需修改底层科学应用程序，证明了其应用无关性和透明性。