[論文レビュー] Measuring the Optimality of Hadoop Optimization

Woocheol Kim, Changryong Baek+1 more|arXiv (Cornell University)|Jul 10, 2013

Cloud Computing and Resource Management参考文献 16被引用数 3

ひとこと要約

本論文は、ハードウェア利用状況と処理時間のオーバーヘッドを分析することで、Hadoopジョブがその理論的性能下限にどの程度近いかを測定する新しい指標 $vet_{job}$ を提案する。記録処理の統計的プロファイリングを通じて理想実行時間を推定することにより、最適化効果の正確な評価が可能となり、$vet_{job} = 1$ は完全な最適化を示し、多様なクラスタ構成において高い正確性を示す。

ABSTRACT

In recent years, much research has focused on how to optimize Hadoop jobs. Their approaches are diverse, ranging from improving HDFS and Hadoop job scheduler to optimizing parameters in Hadoop configurations. Despite their success in improving the performance of Hadoop jobs, however, very little is known about the limit of their optimization performance. That is, how optimal is a given Hadoop optimization? When a Hadoop optimization method X improves the performance of a job by Y %, how do we know if this improvement is as good as it can be? To answer this question, in this paper, we first examine the ideal best case, the lower bound, of running time for Hadoop jobs and develop a measure to accurately estimate how optimal a given Hadoop optimization is with respect to the lower bound. Then, we demonstrate how one may exploit the proposed measure to improve the optimization of Hadoop jobs.

研究の動機と目的

• Hadoop最適化が理論的性能限界にどの程度近いかを評価するための標準化された指標の欠如に対処すること。
• ハードウェア利用状況と処理オーバーヘッドを考慮して、Hadoopジョブ実行時間の下限を特定および推定すること。
• 特定の最適化ツールに依存しない、理想状態に対する最適化度を反映する実用的で正確な指標を開発すること。
• Starfishなどの既存ツールを補完し、最適化の潜在的余地をベンチマークとして提供すること。
• Hadoopの実務家が未利用の性能向上機会を特定するのを支援すること。

提案手法

• 正確性とプロファイリングのオーバーヘッドの両立を図るため、Hadoopジョブにおける個々のデータレコードの処理時間をプロファイリングする。
• 統計的手法を用いて処理時間の外れ値を特定および除外し、通常ケースのパフォーマンスに焦点を当てる。
• 通常ケースの処理時間分布を外挿することで、レコード1件あたりの理想処理時間を推定する。
• ハードウェアおよびシステムレベルのオーバーヘッドに基づき、マップおよびリダースタスクの理想実行時間を別々に推定する。
• マップおよびリダースタスクの推定値を統合し、理論的下限に対するジョブの最適化度を表す統一指標 $vet_{job}$ を作成する。
• 多様なクラスタ構成およびHadoop設定における実験を用いて、指標の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアおよびシステム制約を考慮した場合、Hadoopジョブの理論的実行時間下限は何か？
• RQ2 最小限のプロファイリングオーバーヘッドで高い正確性を維持しつつ、Hadoopジョブの理想パフォーマンスをどのように推定できるか？
• RQ3 既存の最適化技術が理論的性能限界にどの程度近いかを、どの程度まで評価できるか？
• RQ4 提案された $vet_{job}$ 指標は、既存の最適化評価手法と比較して正確性および実用的有用性においてどのように異なるか？
• RQ5 提案された指標は、Starfishのような既存ツールを超えて、さらなる最適化を効果的に導くことができるか？

主な発見

• 提案された $vet_{job}$ 指標は、Hadoopジョブの最適化度を正確に推定でき、$vet_{job} = 1$ は理論的下限に対する完全な最適化を示す。
• Starfishのようなツールによる積極的な最適化後でさえも、実際のHadoopジョブは理論的性能限界に大きく近づいていないことが、$vet_{job}$ 値が1より著しく低いことから明らかになった。
• この手法は、パフォーマンス推定においてしばしば無視されがちなCPU利用状況とコンテキストスイッチングのオーバーヘッドが重要な要因であることを明確に特定した。
• 統計的プロファイリングアプローチは、異常な処理時間を効果的に除外でき、通常ケースの処理時間の信頼性ある推定を可能にした。
• 多様なクラスタ設定における実験から、$vet_{job}$ が最適化効果を一貫して正確にベンチマークするものであることが確認された。
• Starfishなどの既存ツールを補完する形で、独立的かつ客観的な最適化効果評価基準を提供する点で、指標は有効である。