[论文解读] CHIPP: INAF pilot project for HTC, HPC and HPDA

Giuliano Taffoni, U. Becciani+6 more|arXiv (Cornell University)|Feb 4, 2020

Advanced Data Storage Technologies被引用 9

一句话总结

CHIPP 是意大利国家天体物理研究所（INAF）发起的一项试点项目，旨在协调意大利国家天体物理研究所的天文研究所（位于特里斯特和卡塔尼亚）之间分布式高吞吐量计算（HTC）、高性能计算（HPC）和数据处理资源的访问。在两年内，该项目支持了30多个项目，累计使用3000万CPU小时，显示出强劲的社区参与度，并验证了针对中等规模计算需求的基于申请的资源调配模式在天文学领域的可行性。

ABSTRACT

CHIPP (Computing HTC in INAF Pilot Project) is an Italian project funded by the Italian Institute for Astrophysics (INAF) and promoted by the ICT office of INAF. The main purpose of the CHIPP project is to coordinate the use of, and access to, already existing high throughput computing and high-performance computing and data processing resources (for small/medium size programs) for the INAF community. Today, Tier2/Tier3 systems (1,200 CPU/core) are provided at the INAF institutes at Trieste and Catania, but in the future, the project will evolve including also other computing infrastructures. During the last two years, more than 30 programs have been approved for a total request of 30 Million CPU-h. Most of the programs are HPC, data reduction and analysis, machine learning. In this paper, we describe in details the CHIPP infrastructures and the results of the first two years of activity.

研究动机与目标

• 评估意大利天文学界对使用分布式高吞吐量和高性能计算基础设施的兴趣。
• 评估现有计算资源是否满足天文学家的科学与技术需求。
• 确定最优的资源访问模式——定期申请、滚动申请或按需访问，以实现高效的资源分配。
• 建立有效的用户支持框架，包括系统管理及未来软件优化支持。
• 作为意大利国家、可扩展、分布式计算基础设施（类似Tier-1）在天文学领域的原型。

提出的方法

• 以INAF–OATs（特里斯特）和INAF–OACt（卡塔尼亚）现有的HPC和HTC集群作为核心计算资源。
• 实施双轨申请制度：每半年一次的竞争性申请（用于大型项目，>80,000核心小时），以及每月一次的滚动申请（用于小型项目，<10,000核心小时）。
• 提供标准化的软件环境，包含60多种用于天文数据处理、分析和开发的工具。
• 使用Singularity容器、Jupyter笔记本和远程桌面访问支持科学工作流。
• 收集用户反馈和需求，以定制计算环境并提升平台可用性。
• 通过核心小时分配与消耗跟踪，监控资源利用率，并报告每轮申请周期的完成率。

实验结果

研究问题

• RQ1 意大利天文学界在多大程度上采纳了分布式HTC和HPC资源用于科学计算？
• RQ2 现有的中等规模计算基础设施在多大程度上满足了天文学研究项目的实际需求？
• RQ3 哪种访问模式——定期、滚动或按需——最能支持多样化的工作负载和时间安排？
• RQ4 非专业天文学家有效采用HPC/HTC资源时，需要何种水平的用户支持（如调试、性能优化）？
• RQ5 一个协调的、多站点的基础设施能否作为国家天文学计算平台的可扩展模型？

主要发现

• 在前两年中，共有30多个科学计划获得批准，总申请资源达3000万CPU小时。
• 首轮申请收到25份提案，表明初期需求旺盛，此后稳定在每轮9至15份提案，反映出用户认知度逐步提升。
• 前四轮申请的平均完成率为46%，第四轮仍在进行中，表明分配的资源得到高效利用。
• 大多数项目聚焦于HPC、数据处理、分析和机器学习，与当前天文学数据挑战高度契合。
• 引入滚动开放申请显著提升了对时间敏感或突发性计算需求的访问效率。
• 该项目成功证明了分布式、社区驱动计算模式的可行性与价值，为“Data-Star”国家基础设施计划奠定了基础。