[論文レビュー] ATLAS Data Challenge 1

G. Poulard|ArXiv.org|Jun 12, 2003

Distributed and Parallel Computing Systems被引用数 3

ひとこと要約

本論文は、大型ハドロン衝突型加速器の運用に先立ち、ATLAS実験のコンピューティングモデル、ソフトウェアスイート、データモデルを検証するための大規模な分散コンピューティング演習であるATLASデータチャレンジ1（DC1）を提示する。グリッドミドルウェアを用いて18か国にまたがる39の機関で、1000万件を超える物理学的イベントおよび3000万件の単粒子イベントの生産に成功し、71,000CPU日を消費し、35,000のパーティションに分割された30テラバイトのデータを生成した。これは、分散コンピューティングフレームワーク下でのグローバルかつ協働的なモンテカルロシミュレーションの実現可能性を示している。

ABSTRACT

In 2002 the ATLAS experiment started a series of Data Challenges (DC) of which the goals are the validation of the Computing Model, of the complete software suite, of the data model, and to ensure the correctness of the technical choices to be made. A major feature of the first Data Challenge (DC1) was the preparation and the deployment of the software required for the production of large event samples for the High Level Trigger (HLT) and physics communities, and the production of those samples as a world-wide distributed activity. The first phase of DC1 was run during summer 2002, and involved 39 institutes in 18 countries. More than 10 million physics events and 30 million single particle events were fully simulated. Over a period of about 40 calendar days 71000 CPU-days were used producing 30 Tbytes of data in about 35000 partitions. In the second phase the next processing step was performed with the participation of 56 institutes in 21 countries (~ 4000 processors used in parallel). The basic elements of the ATLAS Monte Carlo production system are described. We also present how the software suite was validated and the participating sites were certified. These productions were already partly performed by using different flavours of Grid middleware at ~ 20 sites.

研究の動機と目的

• 大型ハドロン衝突型加速器の運用に先立ち、ATLASのコンピューティングモデル、ソフトウェアスイート、データモデルを検証すること。
• 高エネルギー物理学における世界規模の分散コンピューティングインfraストラクチャのスケーラビリティおよび信頼性をテストすること。
• グリッドミドルウェアを用いて、多様なコンピューティング環境間での相互運用性を確保するとともに、参加機関の認証を実施すること。
• ハイレベルトリガーおよび物理コミュニティ向けに、大規模なモンテカルロイベントサンプルの生産および処理を実施すること。
• ATLAS実験における将来のデータチャレンジおよび生産ワークフローの基盤を確立すること。

提案手法

• DC1の第一段階では、18か国にまたがる39の機関が、分散コンピューティングリソース上にATLASモンテカルロ生産ソフトウェアスイートをデプロイおよび実行した。
• 相互運用性とワークロード配分を可能にするために、約20のサイトでさまざまな種類のグリッドミドルウェアが使用された。
• 1000万件の物理学的イベントおよび3000万件の単粒子イベントをシミュレートするために、40カーディナル日間で合計71,000CPU日が消費された。
• 分散環境におけるスケーラブルな処理およびストレージを支援するため、データは約35,000のファイルにパーティション分割された。
• 第二段階では、21か国にまたがる56の機関が参加し、約4000のプロセッサを並列で使用して、後続の処理ステップを実施した。
• 生産タスクの成功した実行およびATLASソフトウェアおよびデータ基準への準拠に基づき、サイト認証が実施された。

実験結果

リサーチクエスチョン

• RQ1 グローバルに分散されたコンピューティングインfraストラクチャは、ATLAS実験のための大規模なモンテカルロイベントサンプルの生産および管理を成功裏に実行できるか？
• RQ2 ATLASソフトウェアスイートは、異種で多数の機関が関与するコンピューティング環境において、どの程度効果的に機能するか？
• RQ3 さまざまなグリッドミドルウェア実装は、ハイスルーパーの物理学データ生産ワークフローにおいて、どの程度相互運用可能か？
• RQ4 実世界の分散環境下で、ATLASモンテカルロ生産システムのパフォーマンスおよびスケーラビリティ特性はどのようなものか？
• RQ5 多数の国際機関にまたがる環境で、サイト認証およびソフトウェア検証を体系的にどのように達成できるか？

主な発見

• ATLASデータチャレンジ1は、分散コンピューティングモデルを用いて、1000万件を超える物理学的イベントおよび3000万件の単粒子イベントを成功裏に生産した。
• 40カーディナル日間で合計71,000CPU日が消費され、約35,000のパーティションに分割された30テラバイトのデータが生成された。
• 39の機関が18か国にまたがって参加したため、高エネルギー物理学におけるコンピューティング分野における国際的協働の実現可能性が裏付けられた。
• 第二段階では、21か国にまたがる56の機関が参加し、約4000のプロセッサが並列で使用された。これにより、ワークフローのスケーラビリティが確認された。
• ソフトウェアスイートは正常に検証され、生産タスクの一貫性および正確な実行に基づき、参加機関が認証された。
• ~20のサイトで複数のグリッドミドルウェアの種類が使用されたが、これにより分散コンピューティングフレームワークの相互運用性および耐障害性が確認された。