[論文レビュー] Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data

Yunhong Gu, Robert L. Grossman|ArXiv.org|Sep 6, 2008

Cloud Computing and Resource Management参考文献 8被引用数 11

ひとこと要約

本論文では、地理的に分散したデータセンターにまたがる大規模なデータ処理を簡素化することを目的とした分散ストレージおよびコンピューティングシステム、SectorとSphereを紹介する。データセンター間でデータとユーザー定義関数（UDFs）を統合的に管理することにより、TerasortベンチマークにおいてHadoopより約2倍の高速性能を達成し、クラウド規模ワークロードにおけるスケーラビリティと効率性の向上を実証した。

ABSTRACT

Cloud computing has demonstrated that processing very large datasets over commodity clusters can be done simply given the right programming model and infrastructure. In this paper, we describe the design and implementation of the Sector storage cloud and the Sphere compute cloud. In contrast to existing storage and compute clouds, Sector can manage data not only within a data center, but also across geographically distributed data centers. Similarly, the Sphere compute cloud supports User Defined Functions (UDF) over data both within a data center and across data centers. As a special case, MapReduce style programming can be implemented in Sphere by using a Map UDF followed by a Reduce UDF. We describe some experimental studies comparing Sector/Sphere and Hadoop using the Terasort Benchmark. In these studies, Sector is about twice as fast as Hadoop. Sector/Sphere is open source.

研究の動機と目的

• 複数の地理的に分散したデータセンターにまたがる大規模データの管理および処理の複雑さに対処すること。
• 主に1つのデータセンター内でのみ動作する既存のストレージおよびコンピューティングクラウドの制限を克服すること。
• ユーザー定義関数（UDFs）を用いて、データセンター内およびデータセンター間の両方のデータ処理をサポートする統合プログラミングモデルを提供すること。
• モジュラーなMapおよびReduce UDFを用いて、MapReduceスタイルワークロードを効率的に実装すること。
• 実世界のベンチマークにおいて、Hadoopなどの既存システムと比較して優れたパフォーマンスとスケーラビリティを示すこと。

提案手法

• 分散的でスケーラブルなアーキテクチャを用いて、データセンター内およびデータセンター間の両方でデータを管理するストレージクラウドとしてSectorを設計すること。
• データをSectorに格納したデータ上でUDFを実行するコンピューティングクラウドとしてSphereを実装し、データセンター内およびデータセンター間の両方の処理をサポートすること。
• Sphereフレームワーク内でMap UDFを定義した後にReduce UDFを定義することにより、MapReduceプログラミングパターンをサポートすること。
• 分散ノード間で高い可用性とデータ一貫性を確保するために、分散型でフェイルセーフな設計を採用すること。
• コンmodityハードウェアと簡素化されたプログラミングモデルを活用して、運用の複雑さを低減し、開発者の生産性を向上させること。
• シームレスなデプロイと相互運用性を可能にするために、標準的なクラウドインfraにシステムを統合すること。

実験結果

リサーチクエスチョン

• RQ1 複数の地理的に分散したデータセンターにまたがる大規模データを、どのように効率的に格納および処理できるか？
• RQ2 統合プログラミングモデルは、分散データ処理アプリケーションの開発をどの程度簡素化できるか？
• RQ3 UDFに基づくシステムは、Hadoopのような既存のフレームワークと比較して、パフォーマンスとスケーラビリティの面で優れていると期待できるか？
• RQ4 データセンター間ワークロードを想定したストレージおよびコンピューティングスタックのパフォーマンス特性は何か？
• RQ5 分散型で複数のデータセンターをカバーする環境において、フェイルセーフ性とデータ一貫性はどのように処理されるか？

主な発見

• SectorとSphereは、TerasortベンチマークにおいてHadoopの約2倍のパフォーマンスを達成し、顕著な高速化を示した。
• 本システムは、複数のデータセンターにまたがるデータの管理とUDFの実行に成功し、単一データセンターの制限を超えたスケーラビリティを実証した。
• MapReduceスタイルワークロードは、2段階のUDFモデル（Mapの後にReduce）を用いて効率的に実装され、プログラミングモデルの拡張性が裏付けられた。
• Sector/Sphereのオープンソース性により、コミュニティによる採用と大規模データ処理向けのさらなる拡張が可能となった。
• 低レベルの分散処理の詳細を抽象化することで、運用の複雑さが低減し、開発者の生産性が向上した。
• 分散アーキテクチャのおかげで、分散ワークロード下でも高い可用性とフェイルセーフ性を維持した。