[论文解读] GRAPPA: Grid Access Portal for Physics Applications

D. Engh, R. W. Gardner+5 more|ArXiv.org|Jun 26, 2003

Distributed and Parallel Computing Systems参考文献 3被引用 4

一句话总结

GRAPPA 是一种网格门户框架，使物理学家能够通过基于 Web 的界面，使用 Jython 和 Java CoG 工具包访问和管理分布式的高能物理工作负载。它简化了在异构网格资源之间进行作业提交、监控和数据管理的流程，已在美国测试平台成功实现 ATLAS 蒙特卡洛生产，并通过 iVDGL-DataTAG 项目实现了与欧洲系统的互操作性。

ABSTRACT

Grappa is a Grid portal effort designed to provide physicists convenient access to Grid tools and services. The ATLAS analysis and control framework, Athena, was used as the target application. Grappa provides basic Grid functionality such as resource configuration, credential testing, job submission, job monitoring, results monitoring, and preliminary integration with the ATLAS replica catalog system, MAGDA. Grappa uses Jython to combine the ease of scripting with the power of java-based toolkits. This provides a powerful framework for accessing diverse Grid resources with uniform interfaces. The initial prototype system was based on the XCAT Science Portal developed at the Indiana University Extreme Computing Lab and was demonstrated by running Monte Carlo production on the U.S. ATLAS test-bed. The portal also communicated with a European resource broker on WorldGrid as part of the joint iVDGL-DataTAG interoperability project for the IST2002 and SC2002 demonstrations. The current prototype replaces the XCAT Science Portal with an xbooks jetspeed portlet for managing user scripts.

研究动机与目标

• 简化高能物理（HEP）应用（如 ATLAS）对分布式网格资源的访问。
• 降低在多个站点之间管理异构计算系统、存储和软件配置的复杂性。
• 使用标准 Web 技术和脚本语言，提供用户友好且平台无关的门户界面。
• 通过标准化作业描述和资源代理机制，实现美国与欧洲网格基础设施之间的互操作性。
• 支持大规模数据生产工作流，包括作业监控、结果浏览器访问和动态环境配置。

提出的方法

• GRAPPA 使用 Jetspeed 门户小部件作为门户框架，为作业和数据管理提供模块化、可重用的组件。
• 它利用 Jython 脚本语言与 Java CoG 工具集成，实现对网格服务（如 GRAM 作业提交和 GSIFTP 文件传输）的访问，同时最大限度减少 Java 编码需求。
• xbooks 门户引擎解析用户定义的脚本和表单，将作业输入存储以供后续查阅、重新提交或监控。
• 作业脚本被拆分为门户主机和计算主机两部分，Grappa 确保远程站点已安装必要的工具和库（例如 ATLAS Athena）。
• 该门户使用集中式计算资源数据库，根据各站点的相对计算能力动态选择并按比例分配作业。
• 通过为资源代理（如 INFN）生成 JDL 脚本，实现了与欧洲系统的互操作性，使作业可提交至国外网格。

实验结果

研究问题

• RQ1 如何为物理学家提供一个统一、用户友好的界面，以在异构网格资源之间提交和监控作业？
• RQ2 哪些架构模式能够支持高能物理应用在网格上实现安全、可移植且可扩展的门户开发？
• RQ3 如何利用 Jython 等脚本框架降低非专家用户在网格计算中的编程门槛？
• RQ4 门户在多大程度上可以实现与包括美国和欧洲系统在内的多样化网格基础设施的互操作性？
• RQ5 通过 Web 界面进行大规模作业提交时，会产生哪些性能瓶颈，以及如何缓解？

主要发现

• GRAPPA 在覆盖 15 个站点、共 100 个 CPU 的美国网格测试平台上成功实现了 ATLAS 蒙特卡洛生产，支持多种作业管理器（Condor、LSF、PBS、Fork）。
• 通过生成 JDL 脚本，门户实现了与欧洲资源代理（INFN）的互操作性，证明了通过 iVDGL-DataTAG 项目实现跨大西洋作业提交的可行性。
• 作业监控通过 GRAM 状态报告以及与 Ganglia 等系统监控工具和 ATLAS MAGDA 冗余副本目录的集成得以有效实现。
• 通过动态安装并运行 PAW 在输出 ntuples 上，实现了可视化结果浏览器功能，摘要图表在数据生成过程中实时更新。
• 通过 Web 界面进行大规模提交（>25 个作业）时，延迟超过 10 分钟，导致界面在处理此类工作负载时不切实际。
• 性能瓶颈通过引入使用 Cactus 工具包的非交互式命令行界面得以解决，并利用 cron 任务调度长期运行的生产作业。