[論文レビュー] CHIPP: INAF pilot project for HTC, HPC and HPDA

Giuliano Taffoni, U. Becciani+6 more|arXiv (Cornell University)|Feb 4, 2020

Advanced Data Storage Technologies被引用数 9

ひとこと要約

CHIPPは、イタリア国立天文学研究所（INAF）がトリエステおよびカタニアのINAF研究所間で分散型の高スループットコンピューティング（HTC）、ハイパフォーマンスコンピューティング（HPC）、およびデータ処理リソースへのアクセスを調整するパイロットプロジェクトである。2年間にわたり30件以上のプロジェクトを支援し、合計3000万CPU時間のリソースを提供した。これは、天文学分野における中規模コンピューティングニーズに対して、申請ベースのモデルが非常に高いコミュニティ参加を獲得し、有効性を裏付けたことを示している。

ABSTRACT

CHIPP (Computing HTC in INAF Pilot Project) is an Italian project funded by the Italian Institute for Astrophysics (INAF) and promoted by the ICT office of INAF. The main purpose of the CHIPP project is to coordinate the use of, and access to, already existing high throughput computing and high-performance computing and data processing resources (for small/medium size programs) for the INAF community. Today, Tier2/Tier3 systems (1,200 CPU/core) are provided at the INAF institutes at Trieste and Catania, but in the future, the project will evolve including also other computing infrastructures. During the last two years, more than 30 programs have been approved for a total request of 30 Million CPU-h. Most of the programs are HPC, data reduction and analysis, machine learning. In this paper, we describe in details the CHIPP infrastructures and the results of the first two years of activity.

研究の動機と目的

• 分散型の高スループットコンピューティング（HTC）およびハイパフォーマンスコンピューティング（HPC）インfra構造の利用に対するイタリア天文学コミュニティの関心を評価すること。
• 既存のコンピューティングリソースが天文学研究者の科学的・技術的要件をどの程度満たしているかを評価すること。
• 効率的なリソース割り当てを実現する最適なアクセスモデル（定期的コール、ローリングコール、オンデマンドアクセス）を特定すること。
• システム管理および将来のソフトウェア最適化支援を含む、効果的なユーザーサポートフレームワークを確立すること。
• イタリアにおける天文学分野の全国的でスケーラブルな分散コンピューティングインfra（Tier-1に類似）のプロトタイプを構築すること。

提案手法

• INAF–OATs（トリエステ）およびINAF–OACt（カタニア）に既存のHPCおよびHTCクラスタを、コアコンピューティングリソースとして活用した。
• 二段階のコール制度を導入：大規模プロジェクト（80,000コア時間以上）向けに年2回の競争的コール、小規模プロジェクト（10,000コア時間未満）向けに月次ローリングコールを実施。
• 天文学的データリダクション、分析、開発を支援する60種類以上のツールを含む、標準化されたソフトウェア環境を提供。
• Singularityコンテナ、Jupyterノートブック、リモートデスクトップアクセスを活用して、科学的ワークフローを支援。
• ユーザーフィードバックおよび要件収集を通じて、コンピューティング環境のカスタマイズとプラットフォームの使いやすさ向上を図った。
• コア時間の割り当てと消費状況の追跡を通じてリソース利用状況をモニタリングし、各コールサイクルにおける完了率を報告した。

実験結果

リサーチクエスチョン

• RQ1 イタリア天文学コミュニティは、分散型HTCおよびHPCリソースを科学的計算にどの程度採用しているか？
• RQ2 既存の中規模コンピューティングインfraが、天文学研究プロジェクトの実際のニーズをどの程度満たしているか？
• RQ3 定期的、ローリング、オンデマンドのどのアクセスモデルが、多様なプロジェクトのワークロードとスケジュールを最も効果的にサポートするか？
• RQ4 非専門家である天文学研究者がHPC/HTCリソースを効果的に利用するためには、どの程度のユーザーサポート（デバッグ、最適化など）が必要か？
• RQ5 統合的でマルチサイトのインfraは、全国的天文学コンピューティングプラットフォームのスケーラブルなモデルとして機能できるか？

主な発見

• 最初の2年間で30件以上の科学的プログラムが承認され、合計で3000万CPU時間のリソース割り当てが要請された。
• 最初のコールでは25件の申請があり、初期の高い需要がうかがえるが、その後は9〜15件の申請に安定し、ユーザーフレアの向上が確認された。
• 最初の4回のコールにおいて平均46％の完了率を示し、第4回コールはまだ進行中であり、割り当てられたリソースの高い活用が確認された。
• 大多数のプロジェクトがHPC、データリダクション、分析、機械学習に焦点を当てており、現在の天文学的データ課題と整合的であった。
• ローリングオープンコールの導入により、時間的に敏感な、または計画外のコンピューティングニーズへのアクセスが著しく向上した。
• 本プロジェクトは、分散型かつコミュニティ主導のコンピューティングモデルの実現可能性と価値を効果的に示し、Data-Star全国インfra構想の基盤を築いた。