[論文レビュー] The Open Cloud Testbed: A Wide Area Testbed for Cloud Computing Utilizing High Performance Network Services

Robert L. Grossman, Yunhong Gu+4 more|ArXiv.org|Jul 28, 2009

Cloud Computing and Resource Management参考文献 5被引用数 32

ひとこと要約

Open Cloud Testbed (OCT) は、120台のノードを4か所の地理的に分散したデータセンターに配置し、専用の光回路（lightpaths）を介して10Gb/sの高性能ネットワークで接続された広域クラウドコンピューティングの実験環境である。これにより、大規模なベンチマークテスト、相互運用性の研究、およびコンmodityインターネットの制約を超える極めて高いデータストリーム負荷を想定したクラウドサービスの実験が可能になる。ノード／ネットワークの新規プロビジョニング、監視、RPCシステムの導入により実現される。

ABSTRACT

Recently, a number of cloud platforms and services have been developed for data intensive computing, including Hadoop, Sector, CloudStore (formerly KFS), HBase, and Thrift. In order to benchmark the performance of these systems, to investigate their interoperability, and to experiment with new services based on flexible compute node and network provisioning capabilities, we have designed and implemented a large scale testbed called the Open Cloud Testbed (OCT). Currently the OCT has 120 nodes in four data centers: Baltimore, Chicago (two locations), and San Diego. In contrast to other cloud testbeds, which are in small geographic areas and which are based on commodity Internet services, the OCT is a wide area testbed and the four data centers are connected with a high performance 10Gb/s network, based on a foundation of dedicated lightpaths. This testbed can address the requirements of extremely large data streams that challenge other types of distributed infrastructure. We have also developed several utilities to support the development of cloud computing systems and services, including novel node and network provisioning services, a monitoring system, and a RPC system. In this paper, we describe the OCT architecture and monitoring system. We also describe some benchmarks that we developed and some interoperability studies we performed using these benchmarks.

研究の動機と目的

• コンsumerインターネットに依存する小規模で地理的に局所化されたクラウド実験環境の限界を解消すること。
• 分散したデータセンター間で大規模かつ高スループットなクラウドアプリケーションのベンチマークテストおよび相互運用性テストを可能にすること。
• 高性能ネットワークインfraを活用した、クラウドシステムにおける柔軟なコンピューティングおよびネットワークプロビジョニングに関する研究を支援すること。
• 広域クラウド実験に特化したノードプロビジョニング、監視、RPCシステムなどのユーティリティの開発および展開。

提案手法

• OCTアーキテクチャは、ボルチモア、シカゴ（2か所）、サンディエゴに位置する4つのデータセンターにまたがる120台のコンピューティングノードを統合し、専用の10Gb/s光回路（lightpaths）で接続している。
• 高性能ネットワークは、専用の光回路（光回路）を基盤とすることで実現され、広域クラウドワークロードに低遅延かつ高帯域幅を提供する。
• カスタムノードプロビジョニングシステムにより、分散インフラ across でクラウドリソースの動的割り当てと設定が可能になっている。
• 集中型の監視システムが、ノードおよびネットワークリンクのパフォーマンスメトリクスを収集・相関させ、リアルタイム分析およびデバッグを支援する。
• 分散コンponent間の低遅延かつ信頼性の高い通信を実現するため、RPCシステムが実装されている。
• Hadoop、HBase、CloudStoreなどのデータ集約型クラウドサービスをストレステストするように設計されたカスタムワークロードを用いて、ベンチマークおよび相互運用性の研究が実施されている。

実験結果

リサーチクエスチョン

• RQ1 専用の10Gb/s光回路ネットワークを備えた広域クラウド実験環境は、コンsumerインターネットに依存する実験環境と比較して、データ集約型クラウドアプリケーションのスケーラビリティおよびパフォーマンスをどのように向上させるか？
• RQ2 10Gb/s光回路接続を備えた地理的に分散したデータセンターに展開されたHadoop や HBase などのクラウドサービスのパフォーマンス特性は何か？
• RQ3 柔軟なノードおよびネットワークプロビジョニングサービスは、大規模クラウド実験環境における実験および相互運用性をどの程度向上させるか？
• RQ4 カスタム監視およびRPCシステムは、分散クラウドインfraストラクチャ全体でリアルタイムのパフォーマンス分析およびサービス連携をどの程度効果的に支援できるか？

主な発見

• OCTは、10Gb/s光回路ネットワークインfraのおかげで、地理的に分散したデータセンター間で大規模かつ高スループットのデータストリーム処理を成功裏に実現している。
• 専用の光回路の使用により、コンsumerインターネットに依存するクラウド実験環境と比較して、ネットワーク遅延が顕著に低減され、帯域幅の可用性が向上している。
• 相互運用性の研究において、Hadoop や HBase、CloudStore などのクラウドサービスを異種のノードおよびネットワーク環境で統合する際のパフォーマンスボトルネックや設定上の課題が明らかになった。
• カスタム監視システムにより、ノードおよびネットワークリンク間で詳細かつリアルタイムのパフォーマンス相関が可能となり、システム動作の根本原因分析が容易になった。
• ノードプロビジョニングおよびRPCシステムは、広域実験環境全体で低遅延かつ信頼性の高い連携を実現しており、動的クラウドサービスのデプロイおよび管理を支援した。
• ベンチマークの結果、OCTでは、共有インターネットインフラに依存する一般的なクラウド実験環境と比較して、データ集約型ワークロードがより高いスループットと低いエンドツーエンド遅延を達成した。