[論文レビュー] Grid Data Management in Action: Experience in Running and Supporting Data Management Services in the EU DataGrid Project

Heinz Stockinger, Flavia Donno+5 more|ArXiv.org|Jun 2, 2003

Distributed and Parallel Computing Systems参考文献 7被引用数 30

ひとこと要約

本論文は、ヨーロッパ・データグリッド（EDG）プロジェクトに導入された初代データ管理サービス—GDMPおよびedg-replica-manager—の設計、実装、運用経験を提示する。これらはGlobusミドルウェアとの統合、ヨーロッパおよび米国におけるプロトタイプ環境での利用、およびEDGリリース2.0における次世代レプリケーションツールのアーキテクチャ設計を支援する教訓を明らかにしている。

ABSTRACT

In the first phase of the EU DataGrid (EDG) project, a Data Management System has been implemented and provided for deployment. The components of the current EDG Testbed are: a prototype of a Replica Manager Service built around the basic services provided by Globus, a centralised Replica Catalogue to store information about physical locations of files, and the Grid Data Mirroring Package (GDMP) that is widely used in various HEP collaborations in Europe and the US for data mirroring. During this year these services have been refined and made more robust so that they are fit to be used in a pre-production environment. Application users have been using this first release of the Data Management Services for more than a year. In the paper we present the components and their interaction, our implementation and experience as well as the feedback received from our user communities. We have resolved not only issues regarding integration with other EDG service components but also many of the interoperability issues with components of our partner projects in Europe and the U.S. The paper concludes with the basic lessons learned during this operation. These conclusions provide the motivation for the architecture of the next generation of Data Management Services that will be deployed in EDG during 2003.

研究の動機と目的

• 大規模な科学的データ配布を実現するためのスケーラブルで、セキュアかつ相互運用可能なデータ管理システムを、グリッド環境で開発・導入すること。
• 地理的に分散したサイト間で、最小限のユーザー介入で、効率的で信頼性が高く、アトミックなファイルレプリケーションを実現すること。
• ヨーロッパおよび米国における、パートナープロジェクト（例：LCG、PPDG、DataTAG）および既存のグリッドミドルウェア（Globus）との相互運用性を確保すること。
• 本番環境への完全導入の前段階として、実際のテストベッドおよび本番に近い環境での使用を通じて、データ管理コンponentsの最適化を図ること。
• ユーザーからのフィードバックおよび運用インサイトを収集し、EDGリリース2.0における次世代データ管理サービスの設計を支援すること。

提案手法

• Globusミドルウェアスタックを活用したクライアント・サーバー型アーキテクチャを実装し、セキュアで高スルーレットなファイル転送にGridFTPを採用した。
• SE間レプリケーション用のクライアント側ツールとして、Grid Data Mirroring Package（GDMP）を開発。後にサーバー側コンponentsおよび複数のVO（VO）をサポートする機能へ拡張された。
• Globusベースのレプリカ管理サービスとして、edg-replica-managerを構築。Globusレプリカカタログと統合され、アトミックなレプリケーショントランザクションをサポートした。
• レプリカカタログを、複数のサイトにまたがる論理的・物理的ファイル位置を追跡する中央メタデータストアとして統合した。
• 大規模なデータ処理を可能にするために、ストレージサービスインタフェースを通じて、マスストレージシステム（ディスク/テープ）との連携を実現した。
• EDG、WorldGrid、LCG-0、ATLAS/CMSのストレステストを含むマルチサイトのテストベッドにツールを展開し、スケーラビリティおよび相互運用性の検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 地理的に分散したグリッドサイト間で、大規模な科学的ワークロードを支えるためのスケーラブルでセキュアなデータレプリケーションシステムをどのようにアーキテクチャ設計できるか？
• RQ2 既存のグリッドミドルウェア（例：Globus）とデータ管理ツールを統合する際の主な課題は何か。国際共同プロジェクト間での相互運用性を確保するにはどうすればよいか？
• RQ3 プロトタイプ環境における運用経験は、次世代データ管理サービスの設計にどのように反映されるか？
• RQ4 GDMPのようなクライアント側専用ツールと、edg-replica-managerのような完全なクライアント・サーバー型ソリューションとの間で、障害耐性、構成の複雑さ、信頼性の観点からどのようなトレードオフがあるか？
• RQ5 多様なユーザー要件を満たす複雑なマルチサイトテストベッドを効果的に運用するには、どのような構成および使いやすさの改善が必要か？

主な発見

• GDMPおよびedg-replica-managerは、ATLAS、CMS、LHCbのストレステストを含むプロトタイプ環境で正常に展開・運用され、運用上の実現可能性が裏付けられた。
• CERN、フェルミラブ、イタリア、フランスの4か所以上のサイト間で、GridFTPを用いたセキュアかつ効率的なレプリケーションが実現。メタデータは中央のレプリカカタログで管理された。
• LCG、WorldGridなどのパートナープロジェクトとの相互運用性が達成され、大陸を越えた展開およびツールの相互適合性が検証された。
• 運用経験から、ツールに内蔵された複雑な構成オプションが使いやすさの障壁となっていることが判明。これに伴い、将来のリリースで簡素化が進められた。
• edg-replica-manager 2.xにおけるレプリカ位置サービス（RLS）およびメタデータカタログの統合により、サービスの発見性とスケーラビリティが向上した。
• ユーザーコミュニティからのフィードバックを受けて、EDGリリース2.0に導入予定の次世代サービスとして、最適化サービスおよび強化されたメタデータ管理が設計された。