[论文解读] McRunjob: A High Energy Physics Workflow Planner for Grid Production Processing

G. Graham, Evans, Dave+1 more|ArXiv.org|May 30, 2003

Distributed and Parallel Computing Systems被引用 22

一句话总结

McRunjob 是一种基于元数据的工作流规划器，专为高能物理网格生产而设计，可在多种计算环境中实现可扩展、可移植的任务生成。它使用声明式元数据语言，支持函数依赖、命名空间和本体定义，以建模复杂、多步骤的工作流、溯源追踪和动态任务提交，自2002年以来已在 DZero 和 CMS 实验中成功部署。

ABSTRACT

McRunjob is a powerful grid workflow manager used to manage the generation of large numbers of production processing jobs in High Energy Physics. In use at both the DZero and CMS experiments, McRunjob has been used to manage large Monte Carlo production processing since 1999 and is being extended to uses in regular production processing for analysis and reconstruction. Described at CHEP 2001, McRunjob converts core metadata into jobs submittable in a variety of environments. The powerful core metadata description language includes methods for converting the metadata into persistent forms, job descriptions, multi-step workflows, and data provenance information. The language features allow for structure in the metadata by including full expressions, namespaces, functional dependencies, site specific parameters in a grid environment, and ontological definitions. It also has simple control structures for parallelization of large jobs. McRunjob features a modular design which allows for easy expansion to new job description languages or new application level tasks.

研究动机与目标

• 解决高能物理中大规模蒙特卡洛生产缺乏通用、可扩展任务管理的问题。
• 提供一个可移植、可扩展的框架，用于在异构计算环境中管理复杂、多步骤的工作流。
• 通过声明式元数据描述语言，实现一致的任务生成和溯源追踪。
• 支持与外部系统（如数据库、资源代理和网格中间件）的集成。
• 通过模块化设计实现可扩展性，便于未来与新型任务描述语言和执行模型集成。

提出的方法

• 使用 Configurator 组件封装应用程序、环境和数据的元数据，作为通用元数据容器。
• 通过 Script Generator（专用 Configurator）标准化不同执行环境中的任务脚本生成。
• 利用 Linker 作为中心通信与控制枢纽，管理 Configurator 实例化、元数据路由和框架执行。
• 支持元数据元素之间的函数依赖（例如，B:InputFile = A:OutputFile），以声明式方式表达工作流逻辑。
• 支持运行时模式定义和基于宏的配置，实现动态工作流组合和环境管理。
• 使用具有可加载定义和命令序列的宏语言，将环境定义与工作流逻辑分离，实现基本的本体建模。

实验结果

研究问题

• RQ1 如何设计一个通用、可扩展的工作流管理系统，以处理高能物理中大规模、多步骤的蒙特卡洛生产？
• RQ2 通过单一元数据抽象，哪些机制能够实现在异构计算环境（本地计算农场、网格）中的一致任务生成？
• RQ3 如何仅通过元数据建模并强制执行工作流步骤之间的溯源关系和函数依赖？
• RQ4 声明式元数据语言在支持复杂、动态工作流的同时，能多大程度上实现与外部数据库和资源代理的集成？
• RQ5 如何扩展该框架以支持运行时监控、交互式分析以及 Web 服务流程语言等新兴标准？

主要发现

• McRunjob 自1999年以来已在 DZero 和 CMS 实验中成功用于大规模蒙特卡洛生产，自2002年起在 CMS 实验中投入生产使用。
• 该框架通过聚合各个 Configurator 的任务脚本，能够生成表示完整多步骤工作流的复合 shell 脚本。
• 元数据元素之间的函数依赖（如输入-输出链接）被统一处理，无需特殊处理即可实现复杂工作流建模。
• 通过 Configurators、ScriptGen 和 Linker 的模块化架构，可无缝扩展至新的任务描述语言和执行环境。
• 系统通过同义词定义和版本控制实现了基本的本体管理，支持环境感知的工作流配置。
• 正在探索运行时扩展，以对任务进行监控仪器化，任务元数据和执行状态存储在 XML 数据库中，用于溯源追踪。