[論文レビュー] ASCR/HEP Exascale Requirements Review Report

Salman Habib, R. Roser+52 more|arXiv (Cornell University)|Mar 30, 2016

Advanced Data Storage Technologies参考文献 12被引用数 4

ひとこと要約

本レポートは、2025年までの米国素粒子物理学（HEP）におけるエクサスケールコンピューティング要件を概説し、ハイ・リタニティティ・LHC（HL-LHC）、DUNE、LSSTによって引き起こされるデータおよび計算要求の100倍の増加を特定している。HPC、データ管理、ネットワーキング基盤をスケーリングするための共同HEP-ASCRフレームワークを提唱し、コードの再構築、エッジサービス、ハイブリッドリソースモデルに焦点を当て、エクサスケール規模のワークロードに対応する。

ABSTRACT

This draft report summarizes and details the findings, results, and recommendations derived from the ASCR/HEP Exascale Requirements Review meeting held in June, 2015. The main conclusions are as follows. 1) Larger, more capable computing and data facilities are needed to support HEP science goals in all three frontiers: Energy, Intensity, and Cosmic. The expected scale of the demand at the 2025 timescale is at least two orders of magnitude -- and in some cases greater -- than that available currently. 2) The growth rate of data produced by simulations is overwhelming the current ability, of both facilities and researchers, to store and analyze it. Additional resources and new techniques for data analysis are urgently needed. 3) Data rates and volumes from HEP experimental facilities are also straining the ability to store and analyze large and complex data volumes. Appropriately configured leadership-class facilities can play a transformational role in enabling scientific discovery from these datasets. 4) A close integration of HPC simulation and data analysis will aid greatly in interpreting results from HEP experiments. Such an integration will minimize data movement and facilitate interdependent workflows. 5) Long-range planning between HEP and ASCR will be required to meet HEP's research needs. To best use ASCR HPC resources the experimental HEP program needs a) an established long-term plan for access to ASCR computational and data resources, b) an ability to map workflows onto HPC resources, c) the ability for ASCR facilities to accommodate workflows run by collaborations that can have thousands of individual members, d) to transition codes to the next-generation HPC platforms that will be available at ASCR facilities, e) to build up and train a workforce capable of developing and using simulations and analysis to support HEP scientific research on next-generation systems.

研究の動機と目的

• 次世代HEP実験（HL-LHC、DUNE、LSSTなど）に伴う急増する計算およびデータ管理要件に対処する。
• 2025年までにエクサスケール規模のシミュレーションおよびデータ処理を支援するための、HPC、データ、ネットワーキング要件を特定する。
• HEPとASCRコミュニティの協働を促進し、エクサスケール対応のインフラおよびソフトウェアを共同開発する。
• 統一されたワークフローおよび監視システムを通じて、HPC、クラウド、HTCを含むハイブリッドコンピューティングリソースの効率的利用を可能にする。
• 最新のアーキテクチャ、特にアクセラレータ対応およびI/Oに配慮した設計を踏まえた、HEPソフトウェアおよびデータパイプラインの最適化を確保する。

提案手法

• 将来のHPCニーズを評価するため、主要なHEPおよびASCR専門家によるプログラム的要件レビューを実施した。
• HL-LHC、DUNE、LSSTからの予想されるデータ増加（現在の100〜200倍まで）および処理要件を分析した。
• 現在のHEPワークロードを評価した：イベントシミュレーション（1.5 MB/イベント、約50秒/再構築）、データ再構築（1 GB/ファイル、約9時間）、解析。
• HPCおよびアクセラレータアーキテクチャ（GPUおよびマルチコア並列処理を含む）を活用するため、HEPコードベースの再構築を提唱した。
• I/Oボトルネックを軽減するため、エッジコンピューティング、最適化されたデータキャッシュ、および強化されたネットワーキング（例：ESnet、Internet2）を推奨した。
• コスト、利用可能性、ジョブの重要度に基づく、HPC、クラウド、HTC間での自動ジョブルーティングを含むハイブリッドリソースモデルを推奨した。

実験結果

リサーチクエスチョン

• RQ1 HL-LHC、DUNE、LSSTを踏まえると、2025年までのHEP科学を支援するための計算およびデータインフラのスケールはどの程度必要か？
• RQ2 エクサスケールHPCアーキテクチャ（アクセラレータおよびハイブレッドスルーブラストシステムを含む）を効率的に活用するため、HEPワークロードはどのように再設計すべきか？
• RQ3 HPC、クラウド、HTCを統合するハイブリッドコンピューティングモデルは、変動するHEPワークロード要件に対応するために果たすべき役割は何か？
• RQ4 シミュレーションおよび再構築ワークロードにおけるI/Oおよびネットワーク性能を最適化し、ボトルネックを回避するにはどうすればよいか？
• RQ5 エクサスケール対応のコンピューティングおよびデータサービスを共同設計・展開するため、HEPとASCRの間でどのような協働フレームワークが必要か？

主な発見

• HL-LHC単体でも、処理能力がほぼ10倍、データ量が10倍に増加する見込みであり、ハードウェアのトレンドに一致するが、新たなインフラが必要となる。
• 次世代実験からのデータ生産は、現在の水準の200倍に達する可能性があり、テープストレージおよび高容量データ管理システムの導入が不可欠となる。
• 1 GBのシミュレート済みデータファイルのイベント再構築には、現在のハードウェアで約9時間かかることが判明し、I/Oおよび処理ボトルネックが顕在化している。
• HEPにおけるHPCの利用率は平均で95％以上に達しており、これは高い効率性を示しているが、同時にI/Oに最適化されたスケーラブルなシステムの必要性も示している。
• HPC、クラウド、HTCリソースを自動的かつコストに配慮したジョブルーティングによって統合することが、柔軟性とパフォーマンスを確保する上で不可欠である。
• 並列処理、メモリスケーリング、アクセラレータ対応をサポートするようにHEPソフトウェアを再設計することは、エクサスケール対応を達成する上で極めて重要である。