[論文レビュー] Stubby: A Transformation-based Optimizer for MapReduce Workflows

Harold Lim, Herodotos Herodotou+1 more|arXiv (Cornell University)|Aug 1, 2012

Cloud Computing and Resource Management参考文献 6被引用数 7

ひとこと要約

Stubbyは、マップレッドワークフローのための変換ベースでコスト駆動の最適化ツールであり、計画間の変換を用いて包括的な計画空間を体系的に探索することで、高度に最適化されたワークロードを生成する。利用可能なメタデータに基づくインターフェースに依存しない最適化、垂直的および水平的パッケージング、構成チューニングにより、最大4.5倍の性能向上を達成し、多様なワークフロー生成ツールやデータ環境において有効である。

ABSTRACT

There is a growing trend of performing analysis on large datasets using workflows composed of MapReduce jobs connected through producer-consumer relationships based on data. This trend has spurred the development of a number of interfaces--ranging from program-based to query-based interfaces--for generating MapReduce workflows. Studies have shown that the gap in performance can be quite large between optimized and unoptimized workflows. However, automatic cost-based optimization of MapReduce workflows remains a challenge due to the multitude of interfaces, large size of the execution plan space, and the frequent unavailability of all types of information needed for optimization. We introduce a comprehensive plan space for MapReduce workflows generated by popular workflow generators. We then propose Stubby, a cost-based optimizer that searches selectively through the subspace of the full plan space that can be enumerated correctly and costed based on the information available in any given setting. Stubby enumerates the plan space based on plan-to-plan transformations and an efficient search algorithm. Stubby is designed to be extensible to new interfaces and new types of optimizations, which is a desirable feature given how rapidly MapReduce systems are evolving. Stubby's efficiency and effectiveness have been evaluated using representative workflows from many domains.

研究の動機と目的

• 膨大な計画空間、多様なインターフェース、不完全なメタデータの可用性といった要因により、マップレッドワークフローの自動的かつコスト駆動の最適化が困難であるという課題に対処すること。
• プログラミングAPI、Pig、Hive、クエリ言語など、複数のワークフロー生成インターフェースをカバーする汎用最適化ツールを設計すること。ただし、完全な情報が得られない状況でも動作可能であること。
• スキーマ、フィルタ条件、パーティショニングなどの重要なメタデータが欠落している状況でも、動的に計画空間を有効な変換に制限することで、効果的な最適化を可能にすること。
• 新しい最適化タイプやインターフェースに対応できる拡張性を備え、マップレッドシステムの急速な進化に対応できること。
• 包括的な計画空間における変換ベースの探索が、ベースラインワークフローに比べて顕著な性能向上をもたらす可能性があることを実証すること。

提案手法

• Stubbyは、マップレッドワークフローの包括的な計画空間を構築する。変換のモデル化として、垂直的パッケージング（プロダーコンシューマジョブ間でのマップ・リデュース関数の統合）、水平的パッケージング（同じデータセットのI/Oを共有）、構成チューニング（パーティショニング、圧縮、並列度）を含む。
• 原子的変換を既存の計画に適用することで新しい計画を生成する変換ベースの探索戦略を採用し、計画空間の体系的探索を実現する。
• 利用可能なメタデータ（フィルタ条件、スキーマアノテーション、データセット統計など）に基づいて実行コストを推定するコスト駆動評価モデルを採用。情報が欠落している場合、無効な変換を回避する。
• メタデータが欠落している場合（例：スキーマアノテーションがない場合に垂直的パッケージングを実施しない）に、情報が不足している変換を動的に除外することで、計画空間をプルーニングし、正しさと効率性を確保する。
• 高影響度の変換を優先し、全列挙を避ける効率的な探索アルゴリズムを統合。近似的最適解に焦点を当てる。
• システムはミドルウェア層として設計されており、下位のマップレッドエンジンとは独立し、ワークフロー生成ツールとは外部に位置するため、広範な互換性を実現する。

実験結果

リサーチクエスチョン

• RQ1 不完全な情報下でも、効率的かつ正しく動作する大規模で多次元的な計画空間を、マップレッドワークフローのためのコスト駆動最適化が体系的に探索可能か？
• RQ2 Pig、Hive、プログラミングAPIなど多様なワークフロー生成インターフェースに跨る拡張性を持つ変換ベース最適化ツールを設計するには、どのようにすればよいのか？（インターフェース固有の論理を必要としない。）
• RQ3 垂直的および水平的パッケージング変換は、実世界のマップレッドワークフローにおいてI/Oと実行時間をどの程度削減できるか？
• RQ4 スキーマやフィルタ条件といった重要なメタデータが欠落している、または部分的にしか入手できない状況では、最適化ツールの性能はどのように変化するか？
• RQ5 汎用最適化ツールは、多様な実世界のデータ分析ワークロードにおいて顕著な性能向上を達成できるか？

主な発見

• 代表的な多様な分野からのワークロードを用いた包括的な実験において、Stubbyはベースラインワークフロー比最大4.5倍の高速化を達成した。
• メタデータが欠落している場合でも、無効な変換を除外することで計画空間を効果的にプルーニングし、正しさを保ちつつ性能に影響を与えないことを確認した。
• 垂直的パッケージング（ジョブ間でのマップ・リデュース関数の統合）が、特にシャッフルオーバーヘッドが高いワークフローにおいて、性能向上の主な要因となった。
• 水平的パッケージングは、同じ入力を複数のジョブが処理するワークロードにおいて、大規模データセットの冗長なI/Oを削減した。
• Pig、Hive、プログラミングAPIなど、さまざまなインターフェースにおいて、再設定なしに強力なスケーラビリティと適応性を示した。
• 統計情報が完全でない状況下でも、コスト駆動の変換エンジンは近似的最適な計画を効果的に特定し、ルールベースや計画空間が限定されたアプローチを上回った。