[论文解读] INAF Trieste Astronomical Observatory Information Technology Framework

Sara Bertocco, David Goz+7 more|arXiv (Cornell University)|Dec 11, 2019

Distributed and Parallel Computing Systems参考文献 2被引用 15

一句话总结

本文介绍了意大利国家天体物理研究所（INAF）特里亚斯特天文台集成的高性能计算（HPC）、高吞吐量计算（HTC）和云基础设施——HOTCAT与CloudCAT，支持百亿亿次计算研究、欧洲科研云（EOSC）集成以及LOFAR和Euclid等重大天体物理学项目。该框架通过IVO A标准实现高级数据处理、模拟和可互操作的虚拟天文台服务，其关键贡献涵盖分布式计算、百亿亿次计算原型设计，以及面向欧洲科研基础设施的科学数据处理。

ABSTRACT

INAF Trieste Astronomical Observatory (OATs) has a long tradition in information technology applied to Astronomical and Astrophysical use cases, particularly for what regards computing for data reduction, analysis and simulations; data and archives management; space missions data processing; design and software development for ground-based instruments. The ensemble of these activities, in the last years, pushed the need to acquire new computing resources and technologies and to deep competences in theirs management. In this paper we describe INAF-OATs computing centre technological stuff, our involvement in different EU Projects both in the path of building of EOSC, the European Open Science Cloud; in the design and prototyping of new Exascale supercomputers in Europe and the main research activities carried on using our computing centre.

研究动机与目标

• 为INAF特里亚斯特天文台建立可扩展、可互操作的天文数据处理与模拟IT基础设施。
• 通过参与ExaNeSt和EuroExa等欧盟项目，支持欧洲百亿亿次超级计算系统的开发与集成。
• 通过符合IVO A标准的虚拟天文台（VO）服务，实现在欧洲科研基础设施之间的无缝数据访问与互操作性。
• 通过ESCAPE项目，为将ESFRI项目整合到欧洲开放科学云（EOSC）提供试验平台。
• 通过专用的HPC和云资源，支持大规模天体物理学模拟和数据密集型任务，如LOFAR和Euclid任务。

提出的方法

• 部署两套专用计算集群：HOTCAT（HPC）采用PBS作业调度器和BeeGFS并行文件系统，通过Infiniband互连实现低延迟、高吞吐量工作负载。
• 基于OpenStack构建CloudCAT云基础设施，配备Swift对象存储、预配置的天文软件虚拟机镜像，以及远程桌面访问功能。
• 参与欧盟资助项目，包括ESCAPE、ExaNeSt和EuroExa，用于原型化百亿亿次系统，并将IVO A标准集成到EOSC生态系统中。
• 开发并部署符合IVO A标准的VO服务，实现在CANFAR等国际平台之间的联邦化、互操作性数据访问。
• 将计算中心用作试验平台，用于容器化VO感知应用，并将符合ESFRI标准的科学数据平台集成到EOSC中。
• 利用HOTCAT集群完成大规模宇宙学模拟，累计使用200万核心小时，模拟从再电离前到低红移的宇宙演化过程。

实验结果

研究问题

• RQ1 如何通过结合HPC、HTC和云资源的分布式混合IT基础设施，最佳支持多样化的天体物理学工作负载，包括模拟和数据密集型分析？
• RQ2 为实现国家与国际天文数据基础设施向欧洲开放科学云（EOSC）的集成，需要哪些架构与互操作性标准？
• RQ3 如何设计并测试百亿亿次计算原型，以满足下一代天体物理学任务（如SKA和Euclid）的计算需求？
• RQ4 区域计算中心在利用预百亿亿次HPC系统开展大规模、多年期宇宙学模拟中发挥何种作用？
• RQ5 如何将基于IVO A标准的虚拟天文台（VO）服务容器化，并集成到混合云环境中，以支持科学协作？

主要发现

• HOTCAT集群提供1,400个CPU核心、8.5 TB内存和500 TB BeeGFS存储，吞吐量达2 GB/秒，通过Infiniband实现1微秒延迟。
• CloudCAT集群提供200个CPU核心、1.6 PB Swift对象存储，通过CHIPP试点项目支持1,200个CPU/核心容量，适用于中等规模工作负载。
• INAF-OAT通过参与ExaNeSt和EuroExa项目，为百亿亿次系统的设计与原型开发做出贡献，推动欧洲百亿亿次计算的统一互连与机架架构。
• 该中心作为ESCAPE项目的试验平台，成功将符合IVO A标准的VO服务集成到EOSC混合云环境，并验证了VO感知应用的容器化。
• HOTCAT集群累计使用超过200万核心小时进行宇宙学模拟，支持多年期研究以模拟不同红移下的宇宙演化。
• 该天文台协调国家与国际数据基础设施工作，包括LOFAR数据处理和Euclid科学地面段支持，确保为SKA时代的数据挑战做好准备。