[論文レビュー] Performance Evaluation of Virtualized Hadoop Clusters

Todor Ivanov, Roberto V. Zicari+2 more|arXiv (Cornell University)|Nov 14, 2014

Cloud Computing and Resource Management参考文献 14被引用数 8

ひとこと要約

この論文は、仮想化を用いて単一物理ホスト上に展開されたHadoopクラスタのパフォーマンスを評価し、計算とストレージ層を分離している。仮想化は、ハイパーバイザのリソース競合のため、I/Oに依存するワークロードに対して顕著なオーバーヘッドを引き起こすことが判明した。一方、CPUに依存するタスクは仮想化下でもパフォーマンス隔離と効率性が良好に保たれている。

ABSTRACT

In this report we investigate the performance of Hadoop clusters, deployed with separated storage and compute layers, on top of a hypervisor managing a single physical host. We have analyzed and evaluated the different Hadoop cluster configurations by running CPU bound and I/O bound workloads. The report is structured as follows: Section 2 provides a brief description of the technologies involved in our study. An overview of the experimental platform, setup test and configurations are presented in Section 3. Our benchmark methodology is defined in Section 4. The performed experiments together with the evaluation of the results are presented in Section 5. Finally, Section 6 concludes with lessons learned.

研究の動機と目的

• 単一物理ホスト上で仮想化を用い、計算とストレージ層を分離したHadoopクラスタの展開がパフォーマンスに与える影響を評価すること。
• 共有ホスト環境下での仮想化が、CPUに依存するワークロードとI/Oに依存するHadoopワークロードに与える影響を分析すること。
• ハイパーバイザのリソース管理と仮想マシンのオーバーヘッドによって引き起こされるパフォーマンスボトルネックを同定すること。
• リソース利用効率とワークロード隔離の観点から、Hadoop展開における仮想化の有効性を評価すること。

提案手法

• ハイパーバイザを用いて仮想マシンを管理し、計算層とストレージ層に分離した単一物理ホスト上にHadoopクラスタを展開した。
• 仮想マシンへのリソース割り当てを変更した複数の仮想化Hadoopクラスタトポロジを構成した。
• 標準的なHadoopベンチマークを用いてCPUに依存するワークロードとI/Oに依存するワークロードを実行し、仮想化下でのパフォーマンスを測定した。
• 実行時間、リソース利用率、I/Oスルーレートを測定し、パフォーマンスの低下と隔離品質を評価した。
• 再現性を確保するため、同一のハードウェアと仮想化スタックを用いた制御された実験環境を構築した。
• 異なる構成間での結果を分析し、仮想化がHadoopパフォーマンスに与える影響を特定した。

実験結果

リサーチクエスチョン

• RQ1 仮想化は、単一物理ホスト上でのCPUに依存するHadoopワークロードのパフォーマンスにどのように影響するか？
• RQ2 I/Oに依存するワークロードにおいて、仮想化Hadoopクラスタのパフォーランスオーバーヘッドは、ネイティブ（バーメタル）展開と比較してどの程度か？
• RQ3 計算とストレージ層を分離したHadoopクラスタにおいて、ハイパーバイザがリソース競合とパフォーマンス低下を引き起こす程度はどの程度か？
• RQ4 共有ホスト環境下で、複数のHadoopジョブが同時に実行される状況において、仮想化がパフォーマンス隔離をどの程度効果的に提供できるか？
• RQ5 vCPUの割り当て、メモリ、I/Oスケジューリングなどの構成パrameterの中で、仮想化Hadoopパフォーマンスに最も顕著な影響を与えるものは何か？

主な発見

• I/Oに依存するワークロードでは仮想化により顕著なパフォーマンス劣化が生じ、実行時間がネイティブ展開と比較して最大40％まで延長された。
• CPUに依存するワークロードではオーバーヘッドが小さく、パフォーマンス劣化は10％から20％の範囲にとどまり、計算集約的タスクでは仮想化の効率性が優れていることが示された。
• ハイパーバイザ層におけるリソース競合がI/Oパフォーマンスに顕著に影響を与え、特に複数の仮想マシンがディスクI/Oを競合した場合に顕著に現れた。
• 仮想化環境における計算とストレージ層の分離が、仮想化ネットワークおよびストレージスタックの制限により、I/Oボトルネックを悪化させた。
• パフォーマンス隔離は限定的であり、同じホスト上で並列して実行されたワークロードは、特に高I/O負荷下で干渉を示した。
• 最適なパフォーマンスは、各仮想マシンに専用vCPUを割り当て、十分なメモリを確保した場合に達成され、競合を低減しスルーレートを向上させた。