[論文レビュー] A web portal for hydrodynamical, cosmological simulations

Antonio Ragagnin, Klaus Dolag+6 more|arXiv (Cornell University)|Dec 19, 2016

Computational Physics and Python Applications参考文献 29被引用数 4

ひとこと要約

本論文では、大規模な宇宙論的流体力学的シミュレーションのリモート並列計算リソースを通じて、研究者がアクセスし、照会し、分析できるマルチレイヤー構造のウェブポータルを提示する。このシステムは、高度なオブジェクト選択、リアルタイムデータ処理、および仮想X線観測や2次元マップ生成といった専用分析ツールをサポートしており、広範な科学コミュニティが複雑な天体物理学的データを共有するためのスケーラブルで安全なインfra構造を実証している。

ABSTRACT

This article describes a data center hosting a web portal for accessing and sharing the output of large, cosmological, hydro-dynamical simulations with a broad scientific community. It also allows users to receive related scientific data products by directly processing the raw simulation data on a remote computing cluster. The data center has a multi-layer structure: a web portal, a job control layer, a computing cluster and a HPC storage system. The outer layer enables users to choose an object from the simulations. Objects can be selected by visually inspecting 2D maps of the simulation data, by performing highly compounded and elaborated queries or graphically by plotting arbitrary combinations of properties. The user can run analysis tools on a chosen object. These services allow users to run analysis tools on the raw simulation data. The job control layer is responsible for handling and performing the analysis jobs, which are executed on a computing cluster. The innermost layer is formed by a HPC storage system which hosts the large, raw simulation data. The following services are available for the users: (I) {\sc ClusterInspect} visualizes properties of member galaxies of a selected galaxy cluster; (II) {\sc SimCut} returns the raw data of a sub-volume around a selected object from a simulation, containing all the original, hydro-dynamical quantities; (III) {\sc Smac} creates idealised 2D maps of various, physical quantities and observables of a selected object; (IV) {\sc Phox} generates virtual X-ray observations with specifications of various current and upcoming instruments.

研究の動機と目的

• 広範な科学コミュニティが、大規模で複雑な宇宙論的シミュレーションデータを共有・分析できるよう、テラバイト規模のデータをローカルに保存することなく対応する課題に対処すること。
• 原始シミュレーション出力および派生科学的製品にアクセスするためのスケーラブルで安全かつ使いやすいインfra構造を提供すること。
• 研究者が、テラバイト規模のデータセットをダウンロードせずに、リモートのHPCクラスタ上でオンデマンド分析を実行できること。
• 仮想機器シミュレーションやマルチパラメータオブジェクト選択を含む、高度な科学ワークフローを支援すること。
• 将来の調査計画や進化するシミュレーションデータセットに対応する長期的なデータ可用性と拡張性を確保すること。

提案手法

• ポータルは4層アーキテクチャを採用している：ウェブインターフェース、ジョブ制御レイヤー、HPCコンピューティングクラスタ、HPCストレージシステム。
• ユーザーは2次元マップ、散布図、またはSubfind準構造データに対するSQLに類似した複雑な照会によってオブジェクトを選択する。
• 分析ジョブはポータルを通じて提出され、ストレージシステムから直接原始シミュレーションデータを読み取るリモートHPCクラスタで実行される。
• 4つのコアサービスを実装している：ClusterInspect（銀河団メンバー解析）、SimCut（部分体積抽出）、Smac（2次元物理マップ生成）、Phox（仮想X線観測）。
• 各サービスは、投影軸、物理量、機器モデル（例：XMM、eROSITA、Athena）など、カスタマイズ可能なパラメータをサポートしている。
• ローカルデータ転送を回避するため、隔離されたジョブ実行と直接データアクセスにより、セキュリティとパフォーマンスを確保している。

実験結果

リサーチクエスチョン

• RQ1 テラバイト規模のデータをローカルに保存することなく、広範な科学コミュニティが大規模な宇宙論的流体力学的シミュレーションをアクセス可能かつ分析可能にするにはどうすればよいか？
• RQ2 HPCインfraストラクチャ上で、効率的で安全かつスケーラブルに複雑なシミュレーション出力をリモート分析するためのアーキテクチャ設計はどのようなものか？
• RQ3 直感的なインターフェースを通じて、シミュレーション準構造（例：動的状態やコンパクトネスで分類された銀河団）に対する高度で複合的な照会をユーザーがどのように実行できるか？
• RQ4 仮想機器シミュレーション（例：X線観測）を、宇宙論的データのウェブベース分析ポータルに統合するにはどの程度の可能性があるか？
• RQ5 進化するシミュレーションプロジェクトや将来の天文学的調査計画に対応するため、長期的なデータ可用性と拡張性を保証するメカニズムは何か？

主な発見

• ポータルは、ユーザーがローカルデータストレージを必要とせずに、視覚的、パラメトリック、照問ベースの方法で銀河団などの宇宙論的オブジェクトを選択・分析できることを実証した。
• システムは、機器固有の応答関数（Athenaを含む今後のミッション用も含む）を備えた2次元物理マップ（Smac）および仮想X線観測（Phox）の生成をサポートしている。
• SimCutにより、任意の選択された部分体積に対して、粒子データを含む原始シミュレーションデータをオンデマンドで抽出でき、完全な流体力学的量を保持している。
• ポータルは、$2 \times 4536^3$ 解像度要素をカバーし、最大数テラバイトに達する原始データを有するMagneticum Pathfinderシミュレーションにデプロイ済みである。
• インfraストラクチャは5年間のセキュリティ確保が保証されており、拡張性が設計されており、他のシミュレーションプロジェクトへの適応のためのソースコードは要請に応じて提供可能である。
• 本システムにより、複雑な天体物理学的データの再現可能でリモート分析が可能となり、ローカルHPCリソースを持たない研究者にとっての障壁が顕著に低下した。