[論文レビュー] A Taxonomy of Data Grids for Distributed Data Sharing, Management and Processing

Srikumar Venugopal, Rajkumar Buyya+1 more|ArXiv.org|Jun 10, 2005

Distributed and Parallel Computing Systems参考文献 79被引用数 5

ひとこと要約

本論文は、データグリッドのアーキテクチャ、データ輸送、レプリケーション、リソース割り当て／スケジューリングを分類する包括的な分類法を提案する。これは、ピアツーピアネットワーク、コンテンツ配信ネットワーク、分散データベースとは異なり、データ集積的科学計算分野における既存システムの評価や今後の研究のギャップを特定するための構造的フレームワークを提供する。

ABSTRACT

Data Grids have been adopted as the platform for scientific communities that need to share, access, transport, process and manage large data collections distributed worldwide. They combine high-end computing technologies with high-performance networking and wide-area storage management techniques. In this paper, we discuss the key concepts behind Data Grids and compare them with other data sharing and distribution paradigms such as content delivery networks, peer-to-peer networks and distributed databases. We then provide comprehensive taxonomies that cover various aspects of architecture, data transportation, data replication and resource allocation and scheduling. Finally, we map the proposed taxonomy to various Data Grid systems not only to validate the taxonomy but also to identify areas for future exploration. Through this taxonomy, we aim to categorise existing systems to better understand their goals and their methodology. This would help evaluate their applicability for solving similar problems. This taxonomy also provides a "gap analysis" of this area through which researchers can potentially identify new issues for investigation. Finally, we hope that the proposed taxonomy and mapping also helps to provide an easy way for new practitioners to understand this complex area of research.

研究の動機と目的

• データグリッドを体系的に特徴づけ、ピアツーピアネットワーク、コンテンツ配信ネットワーク、分散データベースなどの類似パラダイムと区別すること。
• アーキテクチャ、データ輸送、レプリケーション、リソース割り当て／スケジューリングの4つのコア次元をカバーする多次元分類法を構築すること。
• 既存のデータグリッドシステムへの適用を通じて分類法の妥当性と完全性を検証し、現在の研究およびシステム設計におけるギャップを同定すること。
• 研究者および実務家がデータグリッド技術を理解し、比較・評価できるようにする構造的リファレンスを提供すること。
• 未解決の問題や満たされていない要件を明らかにすることで、今後の研究を導くこと。

提案手法

• システムアーキテクチャ、データ輸送メカニズム、データレプリケーション戦略、リソース割り当ておよびスケジューリング方針の4つのコア次元をカバーする多次層分類法を提案する。
• データアクセスパターン、信頼モデル、パフォーマンス要件の観点から、データグリッドと他のデータ配布モデルを比較分析することで、差異を強調する。
• Globus、EGEE、DataTAGなどの代表的なデータグリッドシステムを、提案された分類法に従って分類することで、その適用可能性と完全性を検証する。
• QoS、アクセス制御、ジョブスケジューリング方針といったユーザー中心の要件を分類法に統合し、現実の科学的ワークロードを反映する。
• 既存のサーベイおよびシステム設計からの知見を統合することで、分類法が現在の実務および技術トレンドを的確に反映していることを保証する。
• スケーラビリティ、相互運用性、データメンテナビリティの分野における未開拓な領域を同定するため、ギャップ分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 データグリッドは、データアクセス、信頼、パフォーランスの観点から、ピアツーピアネットワーク、コンテンツ配信ネットワーク、分散データベースとはどのように根本的に異なるのか。
• RQ2 他の分散データシステムと比較して、データグリッドを特徴付ける主なアーキテクチャ的および運用的特性は何か。
• RQ3 データグリッドにおけるデータ輸送、レプリケーション、リソーススケジューリングを体系的に分類・比較する方法は何か。
• RQ4 提案された分類法に照らして、現在のデータグリッドシステムに見られる制限およびギャップは何か。
• RQ5 分類法は、データ集積的科学計算分野におけるスケーラビリティ、相互運用性、データメンテナビリティの向上を図る今後の研究をどのように導くことができるか。

主な発見

• データグリッドは、複数の管理ドメインにまたがる地理的に分散した異種リソースを扱い、大規模かつ計算集積的な科学的ワークロードをサポートする点で、特徴的である。
• 分類法はGlobus、EGEE、DataTAGといった主要なデータグリッドシステムを的確にマッピング・分類できており、システム比較および評価における実用性を示している。
• 現在のリソース割り当ておよびスケジューリングに関する研究は主にマクスパンの最小化に注力しているが、ユーザー定義のQoSおよびコスト意識型スケジューリングへのシフトが顕著に見られる。
• 分類法は、相互運用性、データメンテナビリティ、自己組織化の分野に顕著なギャップを明らかにし、今後の研究の重要な分野を示している。
• マーケット志向およびコミュニティベースのスケジューリングモデルが登場しており、コスト、パフォーマンス、ユーザー定義のQoS制約をバランスさせる高度なアルゴリズムの開発が求められている。
• 次世代のスケジューリングにおいて、利益とユーザー定義のサービスレベルに基づくユーティリティ関数の統合が不可欠である。