[論文レビュー] Report of the Snowmass 2013 Computing Frontier Working Group on Distributed Computing and Facility Infrastructures

K. Bloom, R. Gerber|arXiv (Cornell University)|Nov 9, 2013

Distributed and Parallel Computing Systems参考文献 1被引用数 3

ひとこと要約

本レポートは、高エネルギー物理学（HEP）の分散コンピューティングおよび施設インfraストラクチャの現状と将来を評価し、WLCG（Worldwide LHC Computing Grid）が段階的でグローバルに分散されたHTC（ハイド・スルーピュット・コンピューティング）モデルを通じてLHC実験を支える上で果たす重要な役割を強調している。本レポートは、WLCGへの継続的投資、HPCとHTCリソースの統合、およびマルチコアおよびGPUアーキテクチャに適応したソフトウェアの開発を提言し、エネルギー・インターバル、強度・インターバル、および宇宙論的インターバルからの増大するデータおよびシミュレーションの要求に応えることを目的としている。

ABSTRACT

This is the report of the Snowmass 2013 Computing Frontier Working Group on Distributed Computing and Facility Infrastructures.

研究の動機と目的

• 2017年までに米国高エネルギー物理学（HEP）コミュニティの計算インfraストラクチャニーズを現在および将来の観点から評価すること。
• WLCG（Worldwide LHC Computing Grid）がLHC実験の主要な分散コンピューティングインfraストラクチャとして果たす役割を評価すること。
• 国立コンピューティングセンターにおけるHPCとHTCのパラダイム統合の状況を検討し、将来のHEP研究における関連性を評価すること。
• LHCの光度の増加、イベントの複雑さ、およびデータレートの上昇に伴う計算リソースのスケーリングにおける課題を特定すること。
• ソフトウェアの進化、リソースの多様化、持続的資金供与の戦略を提言し、HEPの計算準備状態を維持すること。

提案手法

• HTC（容易に並列化可能な）とHPC（密結合で高性能な）コンピューティングモデルに分類された既存のHEP計算ワークロードを分析する。
• WLCGの段階的アーキテクチャ（CERNに位置するTier-0、データ再処理およびアーカイブのためのTier-1サイト、物理解析およびシミュレーションのためのTier-2サイト）を評価する。
• 国立コンピューティングセンター（例：NERSC）がHTCおよびHPCワークロードを支援する役割を果たし、ソフトウェアおよびミドルウェア開発にも寄与していることをレビューする。
• LHCのデータレート（300 Hzから1 kHzに増加）およびピルアップ（1イベントあたり20～25個の相互作用）の増加がインフラストラクチャのスケーラビリティに与える影響を評価する。
• WLCGの段階的アップグレードと、商業クラウドおよび国立HPCセンターを含むオポチュニスティックリソースの統合を提案する。
• マルチコアおよびGPUベースの並列処理を活用できるように、ソフトウェアの近代化を提言する。

実験結果

リサーチクエスチョン

• RQ1 2017年以降に予想されるLHCのデータレートの上昇およびイベントの複雑さに対応するために、WLCGインフラストラクチャはどのように進化すべきか？
• RQ2 国立HPCセンターは、従来HTCシステムが担当していたHEPワークロードをどの程度サポートできるか。また、その実現に向けた変更は何か？
• RQ3 将来のHEP実験（エネルギー・インターバル、強度・インターバル、宇宙論的インターバル）における分散コンピューティングインフラストラクチャのスケーリングに直面する主な技術的および運用的課題は何か？
• RQ4 HEPソフトウェアは、どのようにして多数のマルチコアおよびGPUアクセceleratedアーキテクチャを効率的に活用できるようにするか？
• RQ5 協働的なリソース共有とトレーニングは、強度・インターバル実験が利用可能なコンピューティング施設にアクセスするのをどのように支援すべきか？

主な発見

• WLCGは、CPU 2 MHS06およびディスク190 PBを備え、2012年に連続して30万コアを運用し、LHCデータ処理および解析に26億CPU時間を提供した。
• WLCGの段階的でグローバルに分散されたHTCモデルは、LHCの容易に並列化可能なワークロードに適しており、今後もLHC実験の主要計算リソースとして残り続けると予想される。
• 2017年までに、HEPがHPCリソースを要する量は供給量を4倍上回ると予測されており、国立HPCセンターにおける深刻な不足が浮き彫りになっている。
• NERSCなどの国立センターは、HTCおよびHPCワークロードの両方を支援できる能力を高めつつあるが、HEP実験はこれらのリソースにアクセスするために、能動的にこれらのセンターと連携する必要がある。
• 細粒度（例：GPU）および粗粒度（例：MPI）の並列処理を活用できるように、ソフトウェアは進化させる必要がある。
• 商業クラウド、大学クラスタ、国立HPCセンターのオポチュニスティック利用は、計算アーキテクチャの多様化を実現し、増大するデータ要求に伴う長期的持続可能性を確保するために不可欠である。