[论文解读] CMS Data Analysis: Current Status and Future Strategy

Vincenzo Innocente|ArXiv.org|Jun 12, 2003

Distributed and Parallel Computing Systems参考文献 1被引用 3

一句话总结

本文介绍了CMS当前的分布式数据分析架构，核心为COBRA和IGUANA软件框架，并概述了向基于Grid的计算模型迁移的战略。文章详细阐述了通过Clarens等远程分析原型，实现跨全球计算资源的可扩展、交互式和分布式物理分析，该架构已通过模拟LHC工作负载的大规模数据挑战得到验证。

ABSTRACT

We present the current status of CMS data analysis architecture and describe work on future Grid-based distributed analysis prototypes. CMS has two main software frameworks related to data analysis: COBRA, the main framework, and IGUANA, the interactive visualisation framework. Software using these frameworks is used today in the world-wide production and analysis of CMS data. We describe their overall design and present examples of their current use with emphasis on interactive analysis. CMS is currently developing remote analysis prototypes, including one based on Clarens, a Grid-enabled client-server tool. Use of the prototypes by CMS physicists will guide us in forming a Grid-enriched analysis strategy. The status of this work is presented, as is an outline of how we plan to leverage the power of our existing frameworks in the migration of CMS software to the Grid.

研究动机与目标

• 为CMS开发一个一致的分布式分析环境，支持在全球计算资源上进行交互式和批处理分析。
• 通过统一的逻辑接口，使物理学家无论身处何地，都能统一访问和分析数据。
• 通过从集中式向基于Grid的基础设施迁移，现代化CMS的计算模型，同时利用现有的软件框架。
• 通过大规模数据挑战，验证分布式分析架构的可扩展性和可靠性。
• 通过在真实用例中评估远程分析原型，指导CMS软件的未来发展。

提出的方法

• 采用COBRA框架作为事件处理、重建和分析的主要应用框架，抽象底层计算细节。
• 使用IGUANA框架进行交互式可视化和分析，支持2D/3D可视化和脚本化事件级检查。
• 实现Clarens远程数据服务器作为支持Grid的客户端-服务器工具，用于在用户与分布式数据存储之间进行中介。
• 设计分层软件架构，明确分离应用框架、服务与底层计算基础设施。
• 与LCG（大型计算网格）项目集成，利用经过认证和维护的外部软件组件与服务。
• 通过迭代式数据挑战（DC02、DC04、DC06）测试并优化从模拟、重建到分析阶段的分布式分析流水线。

实验结果

研究问题

• RQ1 如何构建一个一致的、全球分布式的分析环境，以满足约2000名物理学家合作的需求？
• RQ2 像COBRA和IGUANA这样的应用框架在异构计算环境中，如何实现可扩展、交互式和可移植的数据分析？
• RQ3 如何将远程分析工具如Clarens有效集成到基于Grid的基础设施中，以支持实时和关键任务分析？
• RQ4 在LHC规模工作负载下，完全分布式的分析流水线的性能和可靠性特征是什么？
• RQ5 如何扩展和适配现有软件框架，以支持向生产级Grid环境的迁移？

主要发现

• 2002年春季成功完成了600万次蒙特卡洛事件的生产，涉及20个区域中心和10万个作业，生成20TB数据，验证了高级触发和重建框架。
• DC04数据挑战计划于2004年4月举行，目标是在$2\times 10^{33}$ cm⁻²s⁻¹亮度下，以25 Hz的数据率持续一个月，实时重建5000万次事件，测试完整的分布式分析流水线。
• Clarens远程数据服务器原型已成功部署，支持Python、C++和基于GUI的多种客户端，已集成认证和安全机制。
• COBRA和IGUANA框架实现了统一、模块化且可扩展的分析工作流，物理模块通过标准化数据访问协议与底层基础设施解耦。
• 迁移策略成功地将技术变更隔离在框架和服务层，确保向后兼容性，并实现向新计算平台的平稳演进。
• 在IGUANA环境中使用基于ROOT的C++客户端和Python GUI客户端，显示出在CMS社区中的广泛采用和良好可用性，导致Java Analysis Studio客户端被弃用。