[論文レビュー] The CAVES Project - Exploring Virtual Data Concepts for Data Analysis

D. Bourilkov|ArXiv.org|Jan 4, 2004

Semantic Web and Ontologies被引用数 4

ひとこと要約

CAVESプロジェクトは、高エネルギー物理学のような大規模な共同研究において、データ分析ワークフローを自動的にログ記録・共有・再現する仮想データ管理システムを導入する。ROOTフレームワークに仮想データ機能を拡張することで、プロビジョニング追跡、リモート実行、Webおよびグリッドサービスアーキテクチャを介したシームレスな共同作業を可能にし、Supercomputing 2003で動作するプロトタイプによって実証された。

ABSTRACT

The Collaborative Analysis Versioning Environment System (CAVES) project concentrates on the interactions between users performing data and/or computing intensive analyses on large data sets, as encountered in many contemporary scientific disciplines. In modern science increasingly larger groups of researchers collaborate on a given topic over extended periods of time. The logging and sharing of knowledge about how analyses are performed or how results are obtained is important throughout the lifetime of a project. Here is where virtual data concepts play a major role. The ability to seamlessly log, exchange and reproduce results and the methods, algorithms and computer programs used in obtaining them enhances in a qualitative way the level of collaboration in a group or between groups in larger organizations. The CAVES project takes a pragmatic approach in assessing the needs of a community of scientists by building series of prototypes with increasing sophistication. In extending the functionality of existing data analysis packages with virtual data capabilities these prototypes provide an easy and habitual entry point for researchers to explore virtual data concepts in real life applications and to provide valuable feedback for refining the system design. The architecture is modular based on Web, Grid and other services which can be plugged in as desired. As a proof of principle we build a first system by extending the very popular data analysis framework ROOT, widely used in high energy physics and other fields, making it virtual data enabled.

研究の動機と目的

• 大規模な科学的プロジェクト、特に高エネルギー物理学における共同作業と再現性のあるデータ分析の増大するニーズに対応すること。
• データプロビジョニングをログ記録し、分析結果をオンデマンドで再現できる実用的で拡張性のあるシステムを開発すること。
• 仮想データの概念を、ROOTのような実際のデータ分析ツールに統合し、科学者が容易に採用できるようにすること。
• バージョン管理された分析ワークフローとプロビジョニング追跡を通じて、地理的に分散したチーム間の共同作業を支援すること。
• 分析手法とデータ変換を実行可能で共有可能なアーティファクトとしてエンコードすることで、知識の保存と再利用を可能にすること。

提案手法

• プロビジョニング追跡とリモート実行をサポートする仮想データ機能を、広く使われているROOTデータ分析フレームワークに拡張する。
• 拡張性とスケーラビリティを実現するため、Web、グリッド、その他の分散サービスに基づくモジュール型でサービス指向のアーキテクチャを採用する。
• バージョン管理（例：CVS）とリモートリポジトリを用いて、分析コードと構成ログを管理・配布する。
• 仮想ログブックに変換レシピと依存関係を格納することで、オンデマンドでのデータ製品の再生成を可能にする。
• Globus、GriPhyN、CLARENSなどの既存のグリッドサービスと統合し、セキュアでスケーラブルな実行とデータアクセスを実現する。
• Webブラウザを介した軽量クライアントをサポートし、リモートサーバー上でコマンドを実行することで、広範なアクセス性を実現する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブかつ共同作業可能なデータ分析ワークフローにおいて、データプロビジョニングを自動的にキャプチャ・管理する方法は何か？
• RQ2 ROOTのような既存の科学的分析フレームワークに仮想データの概念を統合する際、ユーザーのワークフローを損なうことなく、どの程度実現可能か？
• RQ3 仮想データシステムは、地理的に分散した大規模な科学的チームにおける共同作業、再現性、知識の再利用をどのように改善できるか？
• RQ4 仮想データ管理は、削除または欠落したデータ製品とその依存関係の再構築をどのように支援できるか？
• RQ5 仮想データを新興のWebおよびグリッドサービスインfraストラクチャにシームレスに統合するためのアーキテクチャパターンは何か？

主な発見

• CAVESシステムの動作プロトタイプがSupercomputing 2003で成功裏にデモンストレーションされ、インタラクティブな分析セッションにおける自動プロビジョニングログ記録のコアコンセプトが検証された。
• クライアント側でリモートログとコードからイベント表示や分析結果を再生成でき、事前のデータ転送は一切不要である。
• 仮想データをROOTに統合することで、科学者たちは、生データや完全な分析パイプラインに事前にアクセスがなくても、ほぼ即座に生産的な共同作業を開始できる。
• バージョン管理された実行可能ログを通じて、分析チェーン全体、ツール、結果の再利用が可能となり、新規の共同作業者へのオンボーディング時間の大幅な短縮が達成された。
• 監査可能性と再現性が可能となり、査読者や新規チームメンバーが全分析経路を再構築することで結果の検証が可能になった。
• プロトタイプはインタラクティブおよび自動化されたワークフローの両方をサポートしており、大規模な科学的共同作業における実際の展開可能性を示した。