[論文レビュー] RefDB: The Reference Database for CMS Monte Carlo Production

V. Lefebure, Julia Andreeva|ArXiv.org|May 28, 2003

Distributed and Parallel Computing Systems被引用数 14

ひとこと要約

RefDB は、CMS 実験のモンテカルロシミュレーションワークフローを管理し、グローバルなコンピューティングセンター間でタスクの割り当てを追跡し、データプロダクションを調整するための、中央集権的で分散型のデータベースシステムである。スケーラブルでグリッド対応のアーキテクチャを備えることで、自動化された帳票作成、ワークフロー計画、エンドユーザーによるデータカタログへのアクセスを可能にし、大規模な高エネルギー物理学シミュレーションにおける連携と再現可能性を顕著に向上させた。

ABSTRACT

RefDB is the CMS Monte Carlo Reference Database. It is used for recording and managing all details of physics simulation, reconstruction and analysis requests, for coordinating task assignments to world-wide distributed Regional Centers, Grid-enabled or not, and trace their progress rate. RefDB is also the central database that the workflow-planner contacts in order to get task instructions. It is automatically and asynchronously updated with book-keeping run summaries. Finally it is the end-user interface to data catalogues.

研究の動機と目的

• CMS 実験におけるモンテカルロシミュレーションのライフサイクルを統合的かつスケーラブルに管理するためのデータベースを提供すること。
• グリッド対応および非グリッド対応の両方の分散型リージョナルセンター間でタスクの割り当てを調整し、作業負荷の効率的配分を確保すること。
• 実行要約からの自動的・非同期的更新を支援することで、リアルタイムでの進捗状況の追跡を可能にすること。
• ワークフロープランナとデータカタログの間の主要なインターフェースを提供し、エンドユーザーにアクセスを可能にすること。
• 大規模な高エネルギー物理学シミュレーションワークフローにおける再現可能性と追跡可能性を向上させること。

提案手法

• RefDB は、CMS モンテカルロプロダクションパイプラインにおける、すべてのシミュレーション、再構築、解析リクエストの中央リポジトリとして機能する。
• 異種のコンピューティング環境におけるタスクの割り当てと進行状況の追跡を通じて、グローバルなコンピューティングセンターと統合する。
• 実行要約からの非同期的帳票作成を用いて、タスクのステータスを更新し、リアルタイムでの可視性を確保する。
• データカタログへのインターフェースを提供し、エンドユーザーが直接シミュレーション出力にクエリおよびアクセスできるようにする。
• グリッドコンピューティングインfra構造と拡張可能かつ相互運用可能に設計されており、グリッド対応および非グリッド対応のリージョナルセンターを両方サポートする。
• 動的タスク指示を供給することで、ワークフロープランナーシステムの主なデータソースとして機能する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的なデータベースは、グローバルなコンピューティングセンター間で分散型モンテカルロプロダクションタスクを効果的に調整できるか？
• RQ2 異種のコンピューティング環境において、信頼性がありリアルタイムなシミュレーション進捗状況の追跡を可能にするアーキテクチャは何か？
• RQ3 レファレンスデータベースは、大規模な高エネルギー物理学シミュレーションにおける追跡可能性と再現性をどのように向上させられるか？
• RQ4 単一のデータベースレイヤーを通じて、ワークフロープランナとデータカタログの間のシームレスな統合を実現するメカニズムは何か？
• RQ5 RefDB は、統一されたプロダクションワークフローにおいて、グリッド対応および非グリッド対応のリージョナルセンターをどのようにサポートするか？

主な発見

• RefDB は、分散型リージョナルセンター間でモンテカルロプロダクションの中央集権的調整を成功裏に実現し、ワークフローの効率性を向上させた。
• 実行要約からの自動的・非同期的更新により、リアルタイムでの進捗状況の追跡が達成された。
• RefDB は、タスク指示の単一の真実のソースとして機能し、設定エラーの低減と再現性の向上を実現した。
• データカタログへの一貫性のあるインターフェースを提供し、異なるコンピューティング環境間でのエンドユーザーのアクセスを簡素化した。
• データベースアーキテクチャは、グリッド対応および非グリッド対応のコンピューティングセンターを両方サポートし、広範な相互運用性を確保した。
• RefDB は CMS コンピューティングインfraストラクチャのコアコンponentとして採用され、本番環境におけるスケーラビリティと信頼性の両面で実証された。