[論文レビュー] Elastic Processing of Analytical Query Workloads on IaaS Clouds

Herald Kllapi, Panos Sakkos+3 more|arXiv (Cornell University)|Jan 6, 2015

Advanced Database Systems and Queries参考文献 36被引用数 9

ひとこと要約

本論文は、IaaSクラウドにおける分析ワークロードを対象に、木構造の実行計画を仮想マシンの木構造レイアウトにマッピングすることで、利益を最大化する弾力性のあるクエリ処理エンジンを提案する。オンラインアルゴリズムを用いてSLAに基づく収益とクラウドリソースコストのバランスを保ちながら、ワークロードに応じてリソースを動的にスケーリングし、インタラクティブに近い応答時間を達成するとともに、静的構成と比較して著しく高い利益を実現する。

ABSTRACT

Many modern applications require the evaluation of analytical queries on large amounts of data. Such queries entail joins and heavy aggregations that often include user-defined functions (UDFs). The most efficient way to process these specific type of queries is using tree execution plans. In this work, we develop an engine for analytical query processing and a suite of specialized techniques that collectively take advantage of the tree form of such plans. The engine executes these tree plans in an elastic IaaS cloud infrastructure and dynamically adapts by allocating and releasing pertinent resources based on the query workload monitored over a sliding time window. The engine offers its services for a fee according to service-level agreements (SLAs) associated with the incoming queries; its management of cloud resources aims at maximizing the profit after removing the costs of using these resources. We have fully implemented our algorithms in the Exareme dataflow processing system. We present an extensive evaluation that demonstrates that our approach is very efficient (exhibiting fast response times), elastic (successfully adjusting the cloud resources it uses as the engine continually adapts to query workload changes), and profitable (approximating very well the maximum difference between SLA-based income and cloud-based expenses).

研究の動機と目的

• 大規模なデータ上で、重い集計処理とユーザー定義関数（UDF）を含む複雑な分析クエリを、効率的かつコスト効率よく処理する課題に対処すること。
• リアルタイムのワークロード監視に基づいてクラウドリソースの割り当てを動的に調整する弾力性のあるクエリ処理エンジンを設計し、利益を最大化すること。
• 計算とストレージを分離するため、木構造のクエリ実行計画を階層的な仮想マシンレイアウトに自然にマッピングすること。
• 動的リソース再構成中のパーティション再割り当てコストを近似するための分析的モデルを開発すること。
• 本システムの性能、弾力性、利益率を、静的構成およびCloudera Impalaなどの既存システムと比較して評価すること。

提案手法

• エンジンは仮想マシン（VM）の木構造によるデプロイメントを採用し、リーフVMがクラウドストレージ（例：Amazon S3）からデータを取得・キャッシュし、上位のVMが部分的およびグローバルな集計処理を実行する。
• オンラインで、スライディングウィンドウに基づくワークロード監視アルゴリズムが、変化するクエリワークロードに適応するためのVMの動的割り当て・解放を駆動する。
• 一貫性ハッシュの拡張と、新規に開発された分析的コスト式を用いて、VM再構成時のデータパーティション再割り当てコストを推定・最小化する。
• SLAに基づく収益（応答時間が速いほど高い）とVM使用の金銭的コストのバランスを取ることで、利益最適化を実現する。
• 本手法はExaremeデータフローサイステムに実装され、実世界のクエリパターンとワークロードを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、SLAに基づく応答時間要件を満たしつつ、利益を最大化するようにクラウドリソースを動的にスケーリングできるか？
• RQ2 木構造ベースのクエリ実行計画を階層的なIaaSインfraに最適にマッピングする方法は何か？ これにより、データ移動とコストを最小限に抑えることができるか？
• RQ3 動的VM再構成中に、パーティション再割り当てコストを正確に推定するにはどうすればよいか？ これにより、効率的なリソース適応が可能になる。
• RQ4 提案された弾力性のあるエンジンは、応答時間、適応性、利益率の観点から、静的構成および既存システムをどの程度上回るか？

主な発見

• 提案された弾力性のあるエンジンは、近似的にインタラクティブな応答時間を達成しており、同じワークロードにおいてCloudera Impalaを著しく上回る性能を示した。
• 本システムは、ワークロードの変化に迅速に対応できることを実証した。実験の各段階でクエリパターンの変化に伴い、VMの割り当てを素早く調整した。
• リソースを動的にスケーリングすることで利益が最大化される。特にQ3のような高コストなクエリでは、利益率を維持するためにより多くのコンテナを割り当てた。
• パーティション再割り当てのための分析的コストモデルにより、効率的かつ正確な再構成意思決定が可能になり、エラスティシティ調整時のオーバーヘッドが削減された。
• 静的インfra構成と比較して、著しく高い利益を達成した。これは、動的でSLAに配慮したリソース管理の価値を示している。