[論文レビュー] The LCG POOL Project, General Overview and Project Structure

Dirk Duellmann|ArXiv.org|Jun 16, 2003

Distributed and Parallel Computing Systems参考文献 3被引用数 23

ひとこと要約

LCG POOLプロジェクトは、LHCコンピューティンググリッド向けに、大量データのためのC++オブジェクトストリーミング（ROOT I/O経由）と、メタデータのためのトランザクションセーフなRDBMS（例：MySQL）を組み合わせたハイブリッド永続化フレームワークを導入し、スケーラブルで分散型かつグリッド対応のストレージを実現した。厳密なコンポonentベースのアーキテクチャを採用することで、ストレージの詳細を抽象化し、分散データへのナビゲーションアクセスを可能にするとともに、実験間でのデータ整合性と相互運用性を維持した。

ABSTRACT

The POOL project has been created to implement a common persistency framework for the LHC Computing Grid (LCG) application area. POOL is tasked to store experiment data and meta data in the multi Petabyte area in a distributed and grid enabled way. First production use of new framework is expected for summer 2003. The project follows a hybrid approach combining C++ Object streaming technology such as ROOT I/O for the bulk data with a transactionally safe relational database (RDBMS) store such as MySQL. POOL is based a strict component approach - as laid down in the LCG persistency and blue print RTAG documents - providing navigational access to distributed data without exposing details of the particular storage technology. This contribution describes the project breakdown into work packages, the high level interaction between the main pool components and summarizes current status and plans.

研究の動機と目的

• LHCコンピューティンググリッド（LCG）アプリケーション分野向けに、統合的でスケーラブルかつグリッド対応の永続化フレームワークを設計すること。
• 分散システム全体にわたって、ペタバイトスケールの実験データおよびメタデータの効率的で効果的なストレージとアクセスを可能にすること。
• 高スルーレートのオブジェクトストリーミング（ROOT I/O経由）と、トランザクションセーフなリレーショナルデータベース（例：MySQL）を、一貫性のあるフレームワーク内で統合すること。
• ストレージ技術に依存しない抽象化を通じて、低レベルのストレージ詳細を隠蔽し、分散データへの透明なアクセスを実現すること。
• 標準化されたインターフェースとブループrintを通じて、LHC実験間での相互運用性と長期的なデータ管理を支援すること。

提案手法

• ハイブリッドストレージモデルを採用：大量データにはC++オブジェクトストリーミング（ROOT I/O経由）、メタデータおよびトランザクション整合性にはRDBMS（例：MySQL）を活用。
• LCG永続化およびRTAGブループrintに基づくコンポonentベースのソフトウェアアーキテクチャを実装し、データアクセスとストレージ技術を分離。
• 下位のストレージ実装の詳細を露呈せずに、分散データを透明に走査可能なナビゲーションアクセスレイヤーを設計。
• 相互運用性を保証するため、標準化されたインターフェースとメッセージングプロトコルを用いて、異種グリッド環境間でのコンポonent間連携を実現。
• 複数の機関にまたがる開発・テスト・統合を管理可能にするために、明確なワークパッケージにプロジェクトを構造化。
• 既存の高性能I/O技術（例：ROOT）を活用するとともに、POOL抽象化レイヤーを介してトランザクションおよび分散機能を拡張。

実験結果

リサーチクエスチョン

• RQ1 ペタバイトスケールのLHCデータワークロードに適した統合的でスケーラブルかつグリッド対応の永続化フレームワークをどのように設計できるか？
• RQ2 分散環境において、高スルーレートのオブジェクトストリーミングとトランザクションセーフなリレーショナルデータベースを効率的に統合するためのアーキテクチャ的アプローチは何か？
• RQ3 ストレージ技術に依存しない抽象化により、LHC実験間でのポータビリティと相互運用性を確保するには、データアクセスをどのように抽象化できるか？
• RQ4 大規模な科学的データフレームワークにおいて、拡張性と保守性を最適化するための最適なコンポonentベースの設計パターンは何か？
• RQ5 LHCデータのスケーリングと分散性を管理する中で、データの一貫性と信頼性をどのように確保できるか？

主な発見

• POOLフレームワークは、大量データにROOT I/O、メタデータにRDBMS（例：MySQL）を組み合わせることで、パフォーマンスとデータ整合性のバランスを達成した。
• コンポonentベースのアーキテクチャにより、ストレージ実装の詳細を露呈せずに分散データへの透明なアクセスが可能となり、ポータビリティと保守性が向上した。
• ワークパッケージへのプロジェクト構造化により、複数機関にまたがる開発と統合が調整可能となり、タイムリーな展開が可能になった。
• フレームワークの初回本番利用は2003年夏を予定しており、大規模なLHCデータ管理に向けた準備が整ったことを示した。
• フレームワークはLCG永続化およびRTAGブループrintに準拠しており、グリッドコンピューティングの標準および相互運用性の目標に整合していることを保証した。
• ハイブリッドアプローチは、分散型かつグリッド対応の環境でペタバイトスケールのデータ管理に実用的であることが実証され、LCGのコア要件を満たした。