[论文解读] HEP Applications Evaluation of the EDG Testbed and Middleware

Ingo Augustin, Federico Carminati+25 more|arXiv (Cornell University)|Jun 5, 2003

Distributed and Parallel Computing Systems参考文献 7被引用 5

一句话总结

本文评估了欧洲高能物理（HEP）应用的EDG（欧洲科学网格支持）测试平台和中间件，重点关注作业提交、数据管理、存储处理、监控和远程调试。报告成功将大型强子对撞机（LHC）实验的软件集成到网格环境中，识别出可扩展性和可移植性方面的挑战，并概述了为2003年年中前部署LCG原型所需的关键软件开发工作。

ABSTRACT

Workpackage 8 of the European Datagrid project was formed in January 2001 with representatives from the four LHC experiments, and with experiment independent people from five of the six main EDG partners. In September 2002 WP8 was strengthened by the addition of effort from BaBar and D0. The original mandate of WP8 was, following the definition of short- and long-term requirements, to port experiment software to the EDG middleware and testbed environment. A major additional activity has been testing the basic functionality and performance of this environment. This paper reviews experiences and evaluations in the areas of job submission, data management, mass storage handling, information systems and monitoring. It also comments on the problems of remote debugging, the portability of code, and scaling problems with increasing numbers of jobs, sites and nodes. Reference is made to the pioneeering work of Atlas and CMS in integrating the use of the EDG Testbed into their data challenges. A forward look is made to essential software developments within EDG and to the necessary cooperation between EDG and LCG for the LCG prototype due in mid 2003.

研究动机与目标

• 评估EDG测试平台和中间件在LHC实验中部署HEP应用的适用性。
• 评估包括作业提交、数据管理及大规模存储处理在内的网格组件的功能与性能。
• 识别在远程调试、代码可移植性以及随着作业和站点负载增加时的可扩展性方面面临的问题。
• 支持EDG在2003年年中前部署LCG原型开发中的集成工作。

提出的方法

• 在EDG中间件和测试平台环境中进行HEP软件的移植与测试。
• 评估在多个网格站点和节点之间的作业提交工作流。
• 在真实实验工作负载下测量数据管理与大规模存储处理的性能。
• 使用信息系统和监控工具监控系统行为与诊断信息。
• 收集LHC实验（ATLAS、CMS、BaBar、D0）关于可用性和集成挑战的反馈。
• 分析测试平台中作业数、站点数和节点数增加时的可扩展性行为。

实验结果

研究问题

• RQ1 HEP应用在EDG中间件和测试平台上的部署与执行效率如何？
• RQ2 在分布式站点间作业提交、数据管理及存储处理方面，性能瓶颈是什么？
• RQ3 在网格上运行HEP工作负载时，远程调试和代码可移植性方面面临哪些挑战？
• RQ4 随着作业数、站点数和节点数的增加，系统可扩展性如何？
• RQ5 为支持LCG原型和未来的LHC数据挑战，需要哪些软件增强？

主要发现

• EDG中间件成功支持了HEP应用的执行，ATLAS和CMS在数据挑战中率先完成集成。
• 作业提交和数据管理工作流表现出功能稳定性，但跨异构站点的性能存在差异。
• 由于网格节点间可见性有限且日志记录不一致，远程调试变得困难。
• HEP代码在不同计算环境间的可移植性仍具挑战，尤其在遗留软件栈环境下。
• 随着作业和站点数量的增加，可扩展性问题浮现，特别是在监控和资源分配协调方面。
• 本文识别出EDG中关键的软件开发需求，以确保即将推出的LCG原型具备互操作性和性能。