[论文解读] Grid Data Management in Action: Experience in Running and Supporting Data Management Services in the EU DataGrid Project

Heinz Stockinger, Flavia Donno+5 more|ArXiv.org|Jun 2, 2003

Distributed and Parallel Computing Systems参考文献 7被引用 30

一句话总结

本文介绍了在欧洲数据网格（EDG）项目中首次部署的第一代数据管理服务——GDMP 和 edg-replica-manager 的设计、实现及运行经验。详细阐述了其与 Globus 中间件的集成、在欧洲和美国预生产环境中的应用，以及由此获得的经验教训，这些经验为 EDG 发布 2.0 中下一代复制工具的架构设计提供了依据。

ABSTRACT

In the first phase of the EU DataGrid (EDG) project, a Data Management System has been implemented and provided for deployment. The components of the current EDG Testbed are: a prototype of a Replica Manager Service built around the basic services provided by Globus, a centralised Replica Catalogue to store information about physical locations of files, and the Grid Data Mirroring Package (GDMP) that is widely used in various HEP collaborations in Europe and the US for data mirroring. During this year these services have been refined and made more robust so that they are fit to be used in a pre-production environment. Application users have been using this first release of the Data Management Services for more than a year. In the paper we present the components and their interaction, our implementation and experience as well as the feedback received from our user communities. We have resolved not only issues regarding integration with other EDG service components but also many of the interoperability issues with components of our partner projects in Europe and the U.S. The paper concludes with the basic lessons learned during this operation. These conclusions provide the motivation for the architecture of the next generation of Data Management Services that will be deployed in EDG during 2003.

研究动机与目标

• 开发并部署一个可扩展、安全且互操作的数据管理系统，以支持网格环境中大规模科学数据的分发。
• 支持在地理位置分散的站点之间实现高效、可靠且原子化的文件复制，同时最大限度减少用户干预。
• 实现与合作伙伴项目（例如 LCG、PPDG、DataTAG）以及欧洲和美国现有网格中间件（Globus）的互操作性。
• 通过在试验平台和类似生产环境中的实际使用，对数据管理组件进行优化和改进，为全面部署做好准备。
• 收集用户反馈和运行经验，以指导 EDG 发布 2.0 中下一代数据管理服务的设计。

提出的方法

• 采用基于 Globus 中间件堆栈的客户端-服务器架构，包括使用 GridFTP 实现安全、高吞吐量的文件传输。
• 开发了网格数据镜像包（GDMP）作为客户端工具，用于存储单元到存储单元的复制，后经增强增加了服务端组件，并支持多个虚拟组织（VO）。
• 构建了基于 Globus 的 edg-replica-manager 作为复制管理服务，与 Globus 复制目录集成，支持原子化复制事务。
• 将复制目录作为中央元数据存储，用于跟踪跨站点的逻辑和物理文件位置。
• 通过存储服务接口与大规模存储系统（磁盘/磁带）交互，以支持大规模数据处理。
• 在包括 EDG、WorldGrid、LCG-0 和 ATLAS/CMS 压力测试在内的多站点试验平台中部署工具，以验证其可扩展性和互操作性。

实验结果

研究问题

• RQ1 如何设计一个可扩展且安全的数据复制系统，以支持在分布式网格站点之间大规模科学工作负载？
• RQ2 在与现有网格中间件（如 Globus）集成时，关键挑战是什么？如何确保跨国协作中的互操作性？
• RQ3 在预生产环境中的运行经验如何影响下一代数据管理服务的设计？
• RQ4 在容错能力、配置复杂性和可靠性方面，仅客户端工具（如 GDMP）与完整客户端-服务器解决方案（如 edg-replica-manager）之间存在哪些权衡？
• RQ5 为支持具有多样化用户需求的复杂多站点试验平台，需要进行哪些配置和可用性改进？

主要发现

• GDMP 和 edg-replica-manager 工具已在预生产环境中成功部署并投入使用，包括在 ATLAS、CMS 和 LHCb 的压力测试中，证明了其运行可行性。
• 这些工具实现了在 4 个以上站点（CERN、费米实验室、意大利、法国）之间的安全高效复制，文件传输使用 GridFTP，元数据通过中央复制目录进行管理。
• 与合作伙伴项目（如 LCG、WorldGrid）实现了互操作性，验证了跨大陆部署和工具兼容性。
• 运行经验表明，工具中复杂的配置选项带来了可用性挑战，促使未来版本中开展简化工作。
• edg-replica-manager 2.x 中集成复制位置服务（RLS）和元数据编目功能，显著提升了服务可发现性和可扩展性。
• 来自用户社区的反馈推动了下一代服务的设计，包括优化服务和增强的元数据管理功能，计划在 EDG 发布 2.0 中部署。