[論文レビュー] Bellamy: Reusing Performance Models for Distributed Dataflow Jobs Across Contexts

Dominik Scheinert, Lauritz Thamsen+5 more|arXiv (Cornell University)|Jul 29, 2021

Cloud Computing and Resource Management参考文献 36被引用数 17

ひとこと要約

Bellamy は、スケールアウト、データセットサイズ、および記述的ジョブプロパティを組み込むことで、多様な実行環境間でパフォーマンスデータを再利用するブラックボックスランタイム予測モデルを提案する。2段階のアプローチを採用しており、まず複数のコンテキストのデータで一般モデルを訓練し、次に特定のコンテキストにファインチューニングする。これにより、スケールアウト行動が非自明なアルゴリズムにおいて特に優れた補間性能を達成し、事前学習された重みを用いることで訓練を高速化する。

ABSTRACT

Distributed dataflow systems enable the use of clusters for scalable data analytics. However, selecting appropriate cluster resources for a processing job is often not straightforward. Performance models trained on historical executions of a concrete job are helpful in such situations, yet they are usually bound to a specific job execution context (e.g. node type, software versions, job parameters) due to the few considered input parameters. Even in case of slight context changes, such supportive models need to be retrained and cannot benefit from historical execution data from related contexts. This paper presents Bellamy, a novel modeling approach that combines scale-outs, dataset sizes, and runtimes with additional descriptive properties of a dataflow job. It is thereby able to capture the context of a job execution. Moreover, Bellamy is realizing a two-step modeling approach. First, a general model is trained on all the available data for a specific scalable analytics algorithm, hereby incorporating data from different contexts. Subsequently, the general model is optimized for the specific situation at hand, based on the available data for the concrete context. We evaluate our approach on two publicly available datasets consisting of execution data from various dataflow jobs carried out in different environments, showing that Bellamy outperforms state-of-the-art methods.

研究の動機と目的

• 本論文の目的は、分散データフローシステムにおけるパフォーマンスモデリングのための限られた歴史的データという課題に対処することにある。
• 異なる実行コンテキストからの関連データを再利用することで、ランタイム予測の正確性を向上させることを目的としている。
• その目的は、各コンテキストごとに高コストのプロファイリングや膨大な歴史的データに依存するのを減らすことにある。
• クラウド環境におけるユーザーが手動チューニングに専門知識や時間を割けない状況を考慮し、効率的なリソース設定を支援することにある。
• 多様なユーザーと動的で変化し続けるクラウドワークロードに対応する、スケーラブルで正確かつ高速な予測を可能にすることである。

提案手法

• Bellamy は2段階のモデリングアプローチを採用している：まず複数のコンテキストのデータで一般モデルを訓練し、次に特定のコンテキストにファインチューニングする。
• スケールアウト、データセットサイズ、および追加の記述的ジョブおよびリソースプロパティを入力特徴量として組み込んでいる。
• モデルはタスク固有のコンponentsを備えたニューラルネットワークとして実装されており、コンテキストに適応した予測を可能としている。
• ファインチューニングは、事前学習された重みとコンテキスト固有のデータの組み合わせで実施され、ローカル、部分的アンフリーク、フルリセットのバリエーションが存在する。
• 本アプローチは、最小限のデータで一般モデルを新しいコンテキストに適応させるためのトランスファー学習の原則を活用している。
• 予測性能の評価と最適化には、早期停止と平均絶対誤差（MAE）などの評価指標が用いられている。

実験結果

リサーチクエスチョン

• RQ1 スケールアウト、データセットサイズ、および記述的ジョブおよびリソースプロパティを組み込んだモデルは、限られたデータで新しい特定のコンテキストに効果的に一般化できるか？
• RQ2 スケールアウトとデータセットサイズのみを用いるモデルと比較して、記述的ジョブおよびリソースプロパティを組み込むことでランタイム予測の正確性が向上するか？
• RQ3 Bellamy のコンテキスト間学習能力は、最新の手法と比較して予測正確性と学習効率の両面で優れているか？
• RQ4 ローカル、フルリセットなどの異なるファインチューニング戦略が、モデル性能と学習時間に与える影響は何か？
• RQ5 スケールアウト行動が非自明なアルゴリズム（例：PageRank）に対して、データが限られている状況でもBellamyは効果的にランタイムを予測できるか？

主な発見

• Bellamy は、スケールアウト行動が非自明なアルゴリズム（例：PageRank）に対して、最新の手法を上回るランタイム予測性能を示した。
• Bellamy のローカルバージョンが、全評価対象アルゴリズム（Grep、PageRank、SGD）において最良の平均予測性能を達成した。
• 事前学習された重みに基づくモデルは、平均学習時間を 9.4 秒（ローカルバージョン）から 2.8 ～ 3.8 秒に短縮し、著しくプロセスを高速化した。
• 事前学習済み Bellamy モデルは収束が早く、ファインチューニングを早期に終了したため、学習効率が向上した。
• 本アプローチはコンテキスト間での有効な補間を可能にし、異なる環境間でモデルを再利用することで顕著な性能向上が観察された。
• スケールアウト行動が単純（例：線形）なアルゴリズムでは、Bellamy が一貫して単純なベースラインを上回らなかったため、複雑なスケーリングパターンに対してその利点が顕著であると考えられる。