[論文レビュー] Virtual Data in CMS Analysis

Adam Arbree, Paul Avery+6 more|arXiv (Cornell University)|Jun 2, 2003

Distributed and Parallel Computing Systems参考文献 6被引用数 3

ひとこと要約

本論文は、LHCにおけるCMS実験における共同作業、再現可能性、監査可能性を高めるために、ChimeraフレームワークとROOTを用いた仮想データ管理システムを提案する。変換および導出プロセスを通じてデータプロバンスを追跡することで、動的データ製品再構成、依存関係の自動管理、シミュレーション、再構成、分析ワークフローのシームレスな統合を可能とし、大規模な科学計算における共同作業と再現可能性を顕著に向上させる。

ABSTRACT

The use of virtual data for enhancing the collaboration between large groups of scientists is explored in several ways: - by defining ``virtual'' parameter spaces which can be searched and shared in an organized way by a collaboration of scientists in the course of their analysis; - by providing a mechanism to log the provenance of results and the ability to trace them back to the various stages in the analysis of real or simulated data; - by creating ``check points'' in the course of an analysis to permit collaborators to explore their own analysis branches by refining selections, improving the signal to background ratio, varying the estimation of parameters, etc.; - by facilitating the audit of an analysis and the reproduction of its results by a different group, or in a peer review context. We describe a prototype for the analysis of data from the CMS experiment based on the virtual data system Chimera and the object-oriented data analysis framework ROOT. The Chimera system is used to chain together several steps in the analysis process including the Monte Carlo generation of data, the simulation of detector response, the reconstruction of physics objects and their subsequent analysis, histogramming and visualization using the ROOT framework.

研究の動機と目的

• CMSのような大規模な共同作業における、複雑でCPUおよびデータ集約的な科学的ワークフローを管理する課題に対処すること。
• 科学者が完全なプロバンス追跡を伴って、分析コンponentsおよび結果を共有・発見・再利用できるようにすること。
• 依存関係やアルゴリズムが変更された際に、データ製品の再構成を自動化することで、人的ミスと作業負荷を低減すること。
• バージョン管理されたデータとコードを備えたモジュラで部分的に自律的なワークフローを通じて、共同分析を支援すること。
• 査読および科学的検証に不可欠な、結果の監査可能性と再現可能性を促進すること。

提案手法

• 本システムは、データ変換および導出に関するメタデータを格納するためのリレーショナルスキーマに基づく仮想データカタログ（VDC）を採用している。
• 仮想データ言語（VDL）は、データ製品およびその導出パイプラインを定義し、分析ワークフローの宣言的指定を可能にする。
• Chimeraシステムは、ステップ間の依存関係を管理し、有向無閉路グラフ（DAG）としてのワークフローを自動的にアセンブルおよび実行する。
• プロトタイプは、イベント生成にPYTHIA、イベント保存にFORTRANベースのHBOOK、分析・可視化・ヒストグラム作成にROOTを統合している。
• 各ステップをラップするシェルスクリプト（ラッパー）を用いて、動的実行およびPYTHIAのようなコンponentsのオンザフライコンパイルを可能にする。
• 本システムは、シェルプランナーによるローカル実行およびCondorや他のスケジューラーを介したグリッド送信をサポートしており、場所を問わず透過的な動作を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ分散型のHEP共同作業において、データプロバンスを体系的に追跡・管理する方法は何か？
• RQ2 入力データやアルゴリズムが変更された場合に、仮想データシステムがデータ製品の再構成を自動化できるか？
• RQ3 科学者が、再実装を伴わずに、効率的に既存の分析ワークフローを発見・再利用・拡張できるか？
• RQ4 仮想データ管理は、データの修正や再処理に要する人的作業をどの程度低減できるか？
• RQ5 統合されたシステムは、シミュレーション、再構成、分析を一つの監査可能で再現可能なワークフローに統合できるか？

主な発見

• 仮想データシステムは、完全なデータプロバンスを追跡し、科学者が分析パイプライン内のすべての変換ステップをたどって結果を追跡できるようにした。
• 本システムは動的再処理をサポートする：キャリブレーション誤りが検出された場合、関連するすべてのデータ製品が自動的に特定され、再生成される。
• プロトタイプは、PYTHIA、HBOOK、ROOTを用いて、モンテカルロ生成からイベント可視化までの一連のワークフロー自動化を実証した。完全な再現性が確保された。
• VDLおよびDAGベースの実行の活用により、複雑な複数ステップ分析における人的協調作業の必要性が低減され、エラーも最小限に抑えられた。
• ROOTとの統合により、リアルタイムでの3次元可視化とインタラクティブ分析が可能になり、共同作業と結果解釈が向上した。
• 本システムは拡張性とモularityを備えており、分析チェーン全体の再利用が可能であり、新規チームが重複を避けて既存の作業を基盤に新たな開発を進められた。