[論文レビュー] CMS Data Analysis: Current Status and Future Strategy

Vincenzo Innocente|ArXiv.org|Jun 12, 2003

Distributed and Parallel Computing Systems参考文献 1被引用数 3

ひとこと要約

本論文は、COBRAおよびIGUANAソフトウェアフレームワークに中心を置いたCMSの現在の分散データ分析アーキテクチャを提示し、グリッドベースのコンピューティングモデルへの移行戦略を概説する。大規模なLHCワークロードをシミュレートするデータチャレンジを通じて検証された、グローバルなコンピューティングリソースを横断するスケーラブルでインタラクティブかつ分散型の物理学分析を可能にするリモート分析プロトタイプ、Clarensの使用を詳細に説明している。

ABSTRACT

We present the current status of CMS data analysis architecture and describe work on future Grid-based distributed analysis prototypes. CMS has two main software frameworks related to data analysis: COBRA, the main framework, and IGUANA, the interactive visualisation framework. Software using these frameworks is used today in the world-wide production and analysis of CMS data. We describe their overall design and present examples of their current use with emphasis on interactive analysis. CMS is currently developing remote analysis prototypes, including one based on Clarens, a Grid-enabled client-server tool. Use of the prototypes by CMS physicists will guide us in forming a Grid-enriched analysis strategy. The status of this work is presented, as is an outline of how we plan to leverage the power of our existing frameworks in the migration of CMS software to the Grid.

研究の動機と目的

• 2000人の物理学者からなる共同作業のニーズを満たす、一貫性がありグローバルに分散された分析環境を構築すること。
• 物理学者が物理的な場所にかかわらず、一元化された論理的インターフェースを通じて一様にデータにアクセス・分析できるようにすること。
• 既存のソフトウェアフレームワークを活用して、集中型からグリッドベースのインフラに移行することで、CMSのコンピューティングモデルを近代化すること。
• 大規模なデータチャレンジを通じて、分散分析アーキテクチャのスケーラビリティと信頼性を検証すること。
• 実世界のユースケースにおけるリモート分析プロトタイプの評価を通じて、CMSソフトウェアの将来の開発を導くこと。

提案手法

• イベント処理、再構築、分析の主要なアプリケーションフレームワークとしてCOBRAフレームワークを採用し、低レベルのコンピューティング詳細を抽象化すること。
• インタラクティブな可視化と分析を支援するIGUANAフレームワークの使用により、2次元／3次元可視化およびイベントレベルの検査用スクリプトをサポートすること。
• Clarensリモートデータサーバーをグリッド対応のクライアント・サーバー・ツールとして実装し、ユーザーと分散データストアの間を仲介すること。
• アプリケーションフレームワーク、サービス、および基盤コンピューティングインフラの間で明確な階層的分離を図るソフトウェアアーキテクチャの設計。
• LCG（Large Computing Grid）プロジェクトと統合し、認定済みで保守管理されている外部ソフトウェアコンponentsおよびサービスを活用すること。
• シミュレーション、再構築、分析フェーズをカバーする分散分析パイプラインのテストと最適化を目的とした反復的データチャレンジ（DC02、DC04、DC06）の実施。

実験結果

リサーチクエスチョン

• RQ1 2000人の物理学者からなる共同作業のニーズを満たす、一貫性がありグローバルに分散された分析環境をどのようにアーキテクチャすることができるか？
• RQ2 COBRA や IGUANA といったアプリケーションフレームワークは、異種のコンピューティング環境においてスケーラブルで、インタラクティブかつポータブルなデータ分析をどのように可能にするか？
• RQ3 Clarens などのリモート分析ツールは、グリッドベースのインfraに効果的に統合され、リアルタイムおよびミッションクリティカルな分析をどのように支援できるか？
• RQ4 LHCスケールのワークロード下で、完全に分散化された分析パイプラインの性能および信頼性特性はどのようなものか？
• RQ5 既存のソフトウェアフレームワークは、生産用グリッド環境への移行を支援するために、どのように拡張および適合できるか？

主な発見

• 2002年春に、20の地域センターと10万件のジョブを動員して600万件のモンテカルロイベントの生産が成功裏に完了し、20TBのデータが生成され、ハイレベルトリガーおよび再構築フレームワークの検証がなされた。
• 2004年4月に予定されたDC04データチャレンジでは、$2\times 10^{33}$ cm⁻²s⁻¹の光度で1か月間、1秒あたり25Hzに相当するデータレートで5000万件のイベントをリアルタイムに再構築することを目的とし、完全な分散分析パイプラインのテストが行われた。
• Clarensリモートデータサーバープロトタイプは正常にデプロイされ、Python、C++、GUIベースのインターフェースを含む複数のクライアントをサポートしており、認証およびセキュリティメカニズムが整備された。
• COBRAおよびIGUANAフレームワークにより、一貫性がありモジュラーかつ拡張可能な分析ワークフローが実現され、物理的モジュールが標準化されたデータアクセスプロトコルを通じて基盤インフラから分離された。
• 移行戦略により、フレームワークおよびサービス層内で技術的変更が隔離され、後方互換性が保たれ、新しいコンピューティングプラットフォームへの滑らかな進化が実現された。
• IGUANA環境におけるROOTベースのC++クライアントおよびPython GUIクライアントの使用は、CMSコミュニティにおける高い採用率と使いやすさを示し、Java Analysis Studioクライアントの非推奨化に至った。