[论文解读] Planning the Future of U.S. Particle Physics (Snowmass 2013): Chapter 9: Computing

L. A. T. Bauerdick, Steven Gottlieb+29 more|arXiv (Cornell University)|Jan 23, 2014

Particle physics theoretical and experimental studies参考文献 15被引用 4

一句话总结

本文概述了2013–2033年美国粒子物理计算的战略路线图，主张持续投资于分布式高吞吐量计算（HTC）和高性能计算（HPC），加强软件开发，并推进先进数据管理。它强调代码现代化、人才培训，以及将云和HPC资源整合，以应对下一代实验和模拟带来的日益增长的数据与计算需求。

ABSTRACT

These reports present the results of the 2013 Community Summer Study of the APS Division of Particles and Fields ("Snowmass 2013") on the future program of particle physics in the U.S. Chapter 9, on Computing, discusses the computing challenges for future experiments in the Energy, Intensity, and Cosmic Frontiers, for accelerator science, and for particle theory, as well as structural issues in supporting the intense uses of computing required in all areas of particle physics.

研究动机与目标

• 应对下一代粒子物理实验和模拟带来的计算、存储和网络需求持续增长的挑战。
• 通过顺应多核处理器和加速器等硬件趋势，确保计算基础设施的长期可持续性。
• 通过社区范围的框架、培训和现代化手段，提升软件效率和可维护性，以支持未来架构。
• 通过优化磁带和磁盘分层存储策略并降低操作复杂性，改进数据管理和存储策略。
• 通过统一计算模型和资源共享，促进实验与理论前沿——能标前沿、强度前沿和宇宙前沿之间的协作。

提出的方法

• 对能标前沿、强度前沿和宇宙前沿，以及加速器科学、规范胶球量子色动力学（lattice QCD）和微扰量子色动力学（perturbative QCD）的计算需求进行跨前沿评估。
• 评估并推荐将数据密集型工作负载整合到传统HPC中心的方案，并评估云和机会性计算资源的可行性。
• 倡导对遗留串行代码进行并行化处理，并对物理和框架软件进行重构，以充分利用多核和加速器架构。
• 制定并推广标准化的软件开发实践，包括版本控制、测试和社区范围的代码复用，以减少重复工作和技术债务。
• 实施可扩展的数据管理系统，采用分层存储（磁带、磁盘、云）和增强的数据访问协议，以支持全球数据联邦。
• 建立长期规划机制和资金模式，以持续支持基础设施的演进，包括网络和人员培训。

实验结果

研究问题

• RQ1 粒子物理社区如何高效地将数据密集型工作负载整合到传统HPC中心？其性能与成本权衡如何？
• RQ2 商业云服务提供商和机会性计算资源在多大程度上能够满足对高吞吐量和高性能计算日益增长的需求？
• RQ3 在不牺牲可维护性的前提下，最有效的遗留软件现代化策略是什么，以充分利用多核和基于加速器的架构？
• RQ4 如何优化数据管理系统，以在满足未来实验产生的艾字节级数据速率的同时降低运营成本？
• RQ5 需要何种制度和培训模式，以维持一支能够管理日益复杂、分布式和异构计算环境的高素质人才队伍？

主要发现

• 从提升处理器时钟频率转向多核和基于加速器的计算，要求广泛实施代码并行化，以维持性能提升。
• 分布式HTC和HPC模式依然至关重要，但数据与计算需求的日益重叠要求采用混合方法，并更好地整合HPC中心以支持数据密集型工作负载。
• 磁带存储仍是长期数据保留最经济的选项，应在存储分层中优先考虑，以降低总体成本。
• 由于消费市场萎缩和物理技术极限，磁盘存储容量/成本的改进正在放缓，这进一步凸显了高效数据生命周期管理的必要性。
• 软件开发是关键瓶颈：庞大的遗留代码库需要重构，且当前人才队伍缺乏足够的培训以满足未来需求。
• 如果持续投资，未来5–10年网络性能不太可能成为主要瓶颈，但网络成本趋势可能不再延续历史下降轨迹，需提前规划。