[論文レビュー] C3O: Collaborative Cluster Configuration Optimization for Distributed Data Processing in Public Clouds

Jonathan Will, Lauritz Thamsen+3 more|arXiv (Cornell University)|Jul 28, 2021

Cloud Computing and Resource Management参考文献 24被引用数 17

ひとこと要約

C3O は、パブリッククラウドにおける分散データ処理のためのクラスタ構成最適化を、多様なユーザーからの共有歴史的実行データを活用することで、共同的なランタイム予測システムとして実現する。C3O は、グローバルに分散されたジョブメトリクス上でトレーニングされたコンテキスト対応の回帰モデルを用い、930件のSparkジョブにおいてランタイム予測の平均絶対誤差を3%未満に抑えることに成功し、単一ユーザー手法を著しく上回る性能を示した。

ABSTRACT

Distributed dataflow systems enable data-parallel processing of large datasets on clusters. Public cloud providers offer a large variety and quantity of resources that can be used for such clusters. Yet, selecting appropriate cloud resources for dataflow jobs - that neither lead to bottlenecks nor to low resource utilization - is often challenging, even for expert users such as data engineers. We present C3O, a collaborative system for optimizing data processing cluster configurations in public clouds based on shared historical runtime data. The shared data is utilized for predicting the runtimes of data processing jobs on different possible cluster configurations, using specialized regression models. These models take the diverse execution contexts of different users into account and exhibit mean absolute errors below 3% in our experimental evaluation with 930 unique Spark jobs.

研究の動機と目的

• 分散データ処理ジョブの最適なクラウドリソース選択の課題に取り組み、高いプロビジョニングコストやプロファイリングのオーバーヘッドを回避すること。
• 多様な実行コンテキストからの歴史的ランタイムデータの共有を通じて、ユーザー間での共同的パフォーマンスモデリングを可能にすること。
• グローバルに収集されたコンテキスト対応のトレーニングデータを活用することで、予測精度を向上させるランタイム予測モデルの開発。
• 散発的なデータ処理ワークロードにおけるパブリッククラウド環境におけるリソース過剰プロビジョニングの削減とコスト効率の向上。

提案手法

• C3O は、異なる実行コンテキスト（データサイズ、クラスタ構成、ワークロードの違いを含む）におけるユーザーから、歴史的ランタイムメトリクス（例：ジョブ実行時間、リソース使用量）を収集・共有する。
• 特定のシナリオにおける予測精度を最適化するために、動的に複数の回帰モデルから選択するブラックボックス型ランタイム予測モデルを採用する。
• 多様な構成にわたる堅牢性を確保するため、利用可能なトレーニングデータから最も有望なモデルを選択するために交差検証を用いる。
• 予測器は、データサイズ、パーティション数、ハードウェア特性などのコンテキスト特徴を組み込んだ、930件の固有のSparkジョブからの共有データでトレーニングされる。
• 共同学習モードと単一ユーザーモードの両方をサポートしており、利用可能な場合はグローバルデータを活用し、必要に応じてローカルデータにフォールバックできる。
• アーキテクチャにより、実行時における動的モデル切り替えが可能となり、新しい構成に適応し、予測誤差を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 多様なユーザーからの共有歴史的ランタイムデータは、パブリッククラウドにおける分散データ処理ジョブのランタイム予測精度を向上させることができるか？
• RQ2 ローカルデータのみでトレーニングされた単一ユーザーのモデルと比較して、共同型ランタイム予測モデルの性能はどの程度向上するか？
• RQ3 コンテキスト対応の回帰モデルは、クラスタ構成最適化における予測誤差をどの程度低減できるか？
• RQ4 交差検証とモデル選択戦略は、異種の実行環境における予測精度にどのような影響を及えるか？

主な発見

• C3O 予測器は、930件の固有のSparkジョブにおいて、ジョブランタイム予測の平均絶対誤差を3%未満に抑え、高い精度を示した。
• グローバルに共有されたデータを用いた共同学習は、ローカルデータのみでトレーニングされたモデルと比較して、顕著に予測精度を向上させた。
• ローカルデータが限られている状況でも、強力なパフォーマンスを維持しており、グローバルデータが初期段階から予測の信頼性を高めることを示した。
• 交差検証に基づくモデル選択は、特定の構成とコンテキストに最も適した回帰モデルを効果的に同定した。
• 高価なプロファイリング実行や過剰プロビジョニングの必要性が低減され、特にクラスタプロビジョニング時間が長いクラウド環境において顕著な利点を示した。
• 共同学習と非共同学習の両方のユースケースに対して効果的であり、共有データへのアクセスが制限される組織に対しても対応可能である。