[论文解读] Management of Grid Jobs and Information within SAMGrid

A. Baranovski, Gabriele Garzoglio+12 more|arXiv (Cornell University)|Jul 3, 2003

Distributed and Parallel Computing Systems参考文献 14被引用 6

一句话总结

本文提出SAMGrid，一种专为费米实验室大型强子对撞机实验D0和CDF设计的VO特定网格系统，整合了作业与信息管理功能。该系统在Condor-G基础上增强，实现了自动匹配、通过扩展ClassAd进行动态资源评估以及网络化作业提交，同时采用统一的基于XML的配置框架，实现跨异构网格站点的分布式监控与配置管理。

ABSTRACT

We describe some of the key aspects of the SAMGrid system, used by the D0 and CDF experiments at Fermilab. Having sustained success of the data handling part of SAMGrid, we have developed new services for job and information services. Our job management is rooted in \CondorG and uses enhancements that are general applicability for HEP grids. Our information system is based on a uniform framework for configuration management based on XML data representation and processing.

研究动机与目标

• 解决大型、数据密集型高能物理实验（如D0和CDF）对可扩展、自动化作业调度与信息管理的需求。
• 克服标准Condor-G的局限，实现独立于静态ClassAd描述的动态、基于策略的资源匹配。
• 设计统一、可扩展的配置与监控框架，利用XML支持单一站点上多个网格服务套件之间的互操作性。
• 将网格级服务与本地批处理系统（CAF、MCRunJob）集成，确保兼容性，并避免干扰现有底层工作流。
• 实现跨多站点、多用户的作业调度，支持在异构计算环境中安全、分布式的作业提交。

提出的方法

• 在Condor-G中增强匹配服务，自动为作业执行选择最优网格站点，消除手动指定站点的需要。
• 扩展ClassAd语言，支持在匹配时使用外部评估的动态函数，实现基于非静态数据（如本地存储内容或用户访问列表）的运行时决策。
• 将作业提交客户端与中央排队系统解耦，支持安全的网络通信，并实现多层作业提交架构。
• 设计分层的、基于XML的配置框架，以树状结构表示站点与资源信息，实现跨站点的一致性数据建模。
• 将基于XML的配置数据映射到Condor ClassAd框架中用于资源描述，并使用Globus MDS进行监控与服务发现。
• 部署符合GRAM标准的作业管理器，与本地批处理系统（CAF、MCRunJob）对接，确保与现有实验特定计算架构的无缝集成。

实验结果

研究问题

• RQ1 如何在保持与现有本地批处理系统兼容的前提下，实现对数据密集型高能物理工作负载的自动化作业调度？
• RQ2 为支持超越静态ClassAd属性的动态、基于策略的资源选择，Condor-G需要哪些增强？
• RQ3 如何设计统一、可扩展的配置框架，以支持单一站点上多个网格服务套件之间的互操作性？
• RQ4 基于XML的数据建模在实现分布式、异构网格环境中一致的监控、配置与资源描述方面起到什么作用？
• RQ5 如何使网格级监控与信息服务与底层工作流监控系统正交，而非冗余？

主要发现

• 增强后的Condor-G中间件成功实现了基于动态函数的策略驱动作业匹配，提升了数据密集型工作负载的调度灵活性。
• 引入网络化、安全的作业提交客户端，支持可扩展的多层架构，实现跨站点的分布式、多用户作业提交。
• 基于XML的配置框架实现了站点与资源信息的一致、分层表示，促进了多个网格服务套件之间的互操作性。
• 通过部署符合GRAM标准的作业管理器，系统实现了与本地计算架构的无缝集成，将网格级调度与本地批处理系统（如CAF和MCRunJob）有效衔接。
• 2002年秋季，SAMGrid的完整集成原型成功交付，连接了11个站点（5个D0，6个CDF），并展示了工作中的作业提交、中介服务与监控功能。
• 该项目证明，可在标准中间件（Condor-G、Globus）基础上构建VO特定的网格系统，同时通过领域特定增强支持高能物理工作负载。