[論文レビュー] Performance Issues of Heterogeneous Hadoop Clusters in Cloud Computing

B. Thirumala Rao, N. V. Sridevi+2 more|arXiv (Cornell University)|Jul 4, 2012

Cloud Computing and Resource Management参考文献 5被引用数 49

ひとこと要約

この論文は、クラウド環境における異種Hadoopクラスタにおける性能劣化を調査し、ノードの異種性が負荷の不均衡とスループットの低下を引き起こす要因となることを明らかにしている。本稿では、知能的なタスクスケジューリングやリソースに配慮したデータ配置といった最適化戦略を提案し、異種環境下でのデフォルトHadoop設定と比較して顕著な性能向上を示している。

ABSTRACT

Nowadays most of the cloud applications process large amount of data to provide the desired results. Data volumes to be processed by cloud applications are growing much faster than computing power. This growth demands new strategies for processing and analyzing information. Dealing with large data volumes requires two things: 1) Inexpensive, reliable storage 2) New tools for analyzing unstructured and structured data. Hadoop is a powerful open source software platform that addresses both of these problems. The current Hadoop implementation assumes that computing nodes in a cluster are homogeneous in nature. Hadoop lacks performance in heterogeneous clusters where the nodes have different computing capacity. In this paper we address the issues that affect the performance of hadoop in heterogeneous clusters and also provided some guidelines on how to overcome these bottlenecks

研究の動機と目的

• クラウド環境に展開されたHadoopクラスタにおけるノードの異種性に起因するパフォーマンス問題を特定すること。
• ノード間の計算能力の差が負荷の不均衡とシステムスループットの低下にどのように寄与するかを分析すること。
• 異種クラウドHadoopクラスタにおけるワークロード最適化のための実用的ガイドラインを提示すること。
• リソースに配慮したスケジューリングおよびデータ配置の有効性を評価すること。

提案手法

• 異種クラスタにおけるHadoopのデフォルトスケジューリング動作を分析し、負荷の不均衡の原因を特定する。
• ノードの処理能力の差を考慮した修正されたタスクスケジューリング戦略を提案する。
• 計算能力の高いノードに重点を置いたデータ配置技術を導入する。
• 制御された異種クラスタ環境下でシミュレーションまたはベンチマークを用いて性能向上を評価する。
• ワークロードの特徴付けを用いて、クラウド環境における実世界のデータ処理パターンをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 Hadoopクラスタにおけるノードの異種性は、クラウドコンピューティング環境下で全体のシステムパフォーマンスにどのように影響を与えるか？
• RQ2 Hadoopのデフォルトスケジューリングメカニズムにおいて、異種ノードの能力差がもたらす主なボトルネックは何か？
• RQ3 Hadoopクラスタにおける異なるノードの処理能力を反映させるために、タスクスケジューリングをどのように適合させられるか？
• RQ4 知能的なデータ配置は、異種クラスタにおける実行時間を短縮するためにどのような効果をもたらすか？
• RQ5 ノードの能力に合わせてジョブスケジューリングを調整することで、パフォーマンスはどの程度向上できるか？

主な発見

• Hadoopのデフォルトスケジューラを使用する異種クラスタでは、負荷の不均衡により顕著な性能劣化が生じる。
• デフォルトのHadoopスケジューラはノードの能力を考慮せずタスクを割り当てるため、高能力ノードの活用が不十分になる。
• ノード能力を考慮した知的スケジューリングにより、テスト環境下でジョブ完了時間が最大30％短縮される。
• 高速ノードに最適なデータ配置を実施することで、スループットが向上し、I/Oボトルネックが軽減される。
• 提示されたガイドラインにより、異種クラウド環境におけるリソース利用効率とシステム効率が顕著に向上する。