[論文レビュー] Snowmass Energy Frontier Simulations using the Open Science Grid (A Snowmass 2013 whitepaper)

A. Avetisyan, S. Bhattacharya+10 more|arXiv (Cornell University)|Aug 4, 2013

Distributed and Parallel Computing Systems被引用数 6

ひとこと要約

この論文は、Snowmass 2013 Energy Frontier調査のための大規模なシミュレーションキャンペーンを提示しており、Open Science Grid (OSG) を活用して、GlideinWMS を用いた分散ジョブスケジューリングと Parrot を用いた動的 CvmFS アクセスにより、数十億件のモンテカルロイベントを生成した。この取り組みにより、14、33、100 TeV での高統計的標準模型と新物理のサンプルが成功裏に生成され、将来の衝突加速器計画における重要な物理的発見可能性の評価が可能になった。

ABSTRACT

Snowmass is a US long-term planning study for the high-energy community by the American Physical Society's Division of Particles and Fields. For its simulation studies, opportunistic resources are harnessed using the Open Science Grid infrastructure. Late binding grid technology, GlideinWMS, was used for distributed scheduling of the simulation jobs across many sites mainly in the US. The pilot infrastructure also uses the Parrot mechanism to dynamically access CvmFS in order to ascertain a homogeneous environment across the nodes. This report presents the resource usage and the storage model used for simulating large statistics Standard Model backgrounds needed for Snowmass Energy Frontier studies.

研究の動機と目的

• Snowmass 2013 Energy Frontier 研究のため、標準模型のバックグラウンドと新物理のシグナルの高統計的モンテカルロサンプルを生成すること。
• 最近観測されたヒッグス粒子と新物理の将来の高エネルギー衝突加速器における物理的発見可能性を評価すること。
• 機会的で分散型のコンピューティングリソースを用いて大規模 HEP シミュレーションワークロードを実行する可能性を実証すること。
• OSG を用いて、複数の米国機関にまたがるスケーラブルでポータブルかつ再現可能なシミュレーションインfraを構築・展開すること。
• 将来の衝突加速器ロードマップのためのデータ駆動型のインプットを提供することで、米国の高エネルギー物理学プログラムの長期的計画を支援すること。

提案手法

• 121 の OSG サイトにわたり、パイロットジョブを送信・スケジューリングするために HTCondor と GlideinWMS を使用し、分散コンピューティングリソースの機会的利用を可能にした。
• 異種のワーカーノード間で一貫性のあるソフトウェア環境を保つために、Parrot メカニズムを用いて CvmFS を動的にアクセスした。
• 2段階のシミュレーションを実行した：第一段階では、グリッドパックを用いて MadGraph が LHE 形式のイベントファイルを生成した。第二段階では、Delphes が積み重ね条件を含めた検出器応答をシミュレートした。
• 大規模な最小反応断面積ファイル（1 GB）を共有ストレージにキャッシュすることで、データ転送を最適化し、I/O オーバーヘッドを削減した。
• 最終的な Delphes 出力を ROOT 形式で、FNAL、UNL、BNL の複数の Tier-1 サイトに格納し、証明書ベースのアクセスと XRootD を用いて公開読み取りアクセスを可能にした。
• LPC（LHE）、FNAL（CMS dCache）、UNL（Hadoop）に専用のストレージ領域を設け、データ配布と長期アーカイブを管理した。データ量は月次で追跡された。

実験結果

リサーチクエスチョン

• RQ1 将来的な衝突加速器物理学研究のため、機会的グリッドリソースを用いて大規模かつ高統計のモンテカルロシミュレーションをどのように効率的に生成できるか？
• RQ2 14、33、100 TeV の陽子-陽子衝突を、現実的な積み重ね条件を含めてシミュレートする最適なワークフローは何か？
• RQ3 OSG のような異種で分散型のコンピューティングインfraストラクチャにおいて、ソフトウェア環境の一貫性をどのように維持できるか？
• RQ4 GlideinWMS と Parrot を HEP シミュレーションワークロードに使用する際のパフォーマンスとスケーラビリティの特性は何か？
• RQ5 大規模なシミュレーション出力を、安全で標準化されたプロトコルを用いて複数の機関間で効率的に格納・共有・アクセスするにはどうすればよいか？

主な発見

• プロジェクト期間中、平均して1日あたり約14,000件のジョブが完了し、2013年5月下旬から6月上旬にかけてピークで70,000～80,000件に達した。主に LHE 生成と Delphes 処理が要因であった。
• プロジェクト期間中、Fermilab dCache へのデータ転送量は合計268.3 TB、ネブラスカ大学リンカーン校のストレージには62.5 TB が転送された。
• 上位15の OSG サイトが合計で550万時間以上のコンピューティング時間を提供し、特に USCMS-FNAL-WC1 が3,411,395時間を記録した。
• 動的 CvmFS アクセスに Parrot を使用したことで、ソフトウェア設定の問題が顕著に減少し、分散サイト全体でのジョブの信頼性が向上した。
• シミュレーションパイプラインは、0、50、140 の平均積み重ね状態を含む、14、33、100 TeV の中心系エネルギーで、高品質で物理的に関連のあるイベントサンプルを正常に生成・格納した。
• 最終的なデータセットは、UNL での公開 Web インターフェースと XRootD を通じて、元の共同研究グループを超えて広く再利用可能となった。