[论文解读] A web portal for hydrodynamical, cosmological simulations

Antonio Ragagnin, Klaus Dolag+6 more|arXiv (Cornell University)|Dec 19, 2016

Computational Physics and Python Applications参考文献 29被引用 4

一句话总结

本文提出了一种多层网络门户，使研究人员能够通过远程高性能计算（HPC）访问、查询和分析大规模宇宙学流体动力学模拟。该系统支持高级对象选择、实时数据处理以及专用分析工具（如虚拟X射线观测和二维图生成），展示了可扩展、安全的基础设施，可向更广泛的科学社区共享复杂的天体物理学数据。

ABSTRACT

This article describes a data center hosting a web portal for accessing and sharing the output of large, cosmological, hydro-dynamical simulations with a broad scientific community. It also allows users to receive related scientific data products by directly processing the raw simulation data on a remote computing cluster. The data center has a multi-layer structure: a web portal, a job control layer, a computing cluster and a HPC storage system. The outer layer enables users to choose an object from the simulations. Objects can be selected by visually inspecting 2D maps of the simulation data, by performing highly compounded and elaborated queries or graphically by plotting arbitrary combinations of properties. The user can run analysis tools on a chosen object. These services allow users to run analysis tools on the raw simulation data. The job control layer is responsible for handling and performing the analysis jobs, which are executed on a computing cluster. The innermost layer is formed by a HPC storage system which hosts the large, raw simulation data. The following services are available for the users: (I) {\sc ClusterInspect} visualizes properties of member galaxies of a selected galaxy cluster; (II) {\sc SimCut} returns the raw data of a sub-volume around a selected object from a simulation, containing all the original, hydro-dynamical quantities; (III) {\sc Smac} creates idealised 2D maps of various, physical quantities and observables of a selected object; (IV) {\sc Phox} generates virtual X-ray observations with specifications of various current and upcoming instruments.

研究动机与目标

• 解决大规模、复杂的宇宙学模拟数据在广泛科学社区中共享与分析的挑战。
• 为访问原始模拟输出和派生科学产品提供可扩展、安全且用户友好的基础设施。
• 使研究人员能够在不下载TB级数据集的情况下，通过远程HPC集群按需执行分析。
• 支持高级科学工作流，包括虚拟仪器模拟和多参数对象选择。
• 确保未来调查和不断演化的模拟数据集的长期数据可访问性和可扩展性。

提出的方法

• 该门户采用四层架构：网络界面、作业控制层、HPC计算集群和HPC存储系统。
• 用户通过可视化2D图、散点图或对Subfind子结构数据的复杂SQL-like查询来选择对象。
• 分析作业通过门户提交，并在远程HPC集群上执行，该集群可直接从存储系统读取原始模拟数据。
• 实现了四个核心服务：ClusterInspect（星系团成员分析）、SimCut（子体积提取）、Smac（二维物理图生成）和Phox（虚拟X射线观测）。
• 每个服务均支持自定义参数，如投影轴、物理量和仪器模型（例如XMM、eROSITA、Athena）。
• 通过隔离的作业执行和直接数据访问，确保系统安全与性能，避免本地数据传输。

实验结果

研究问题

• RQ1 如何使大规模宇宙学流体动力学模拟对广泛科学社区可访问且可分析，而无需本地存储TB级数据集？
• RQ2 何种架构设计能够实现在HPC基础设施上对复杂模拟输出进行高效、安全且可扩展的远程分析？
• RQ3 用户如何通过直观界面执行对模拟子结构（如按动力学状态或紧凑性分类的星系团）的高级复合查询？
• RQ4 虚拟仪器模拟（如X射线观测）在基于Web的宇宙学数据分析门户中可集成到何种程度？
• RQ5 何种机制可确保对不断演化的模拟项目和未来天文调查的长期数据可用性和可扩展性？

主要发现

• 该门户成功使用户能够通过可视化、参数化或基于查询的方法选择并分析宇宙学对象（如星系团），而无需本地数据存储。
• 该系统支持生成2D物理图（Smac）和具有仪器特定响应函数的虚拟X射线观测（Phox），包括对Athena等未来任务的支持。
• SimCut支持按需提取任意选定子体积的原始模拟数据（如粒子数据），并保留完整的流体动力学量。
• 该门户已部署于Magneticum Pathfinder模拟，其覆盖$2 \times 4536^3$分辨率单元，原始数据量达数百TB。
• 该基础设施已规划五年安全运行，并设计为可扩展，源代码可应要求提供，以适配其他模拟项目。
• 该系统实现了复杂天体物理学数据的可重现远程分析，显著降低了不具备本地HPC资源的研究人员的使用门槛。