[論文レビュー] Spark Parameter Tuning via Trial-and-Error

Panagiotis Petridis, Anastasios Gounaris+1 more|arXiv (Cornell University)|Jul 25, 2016

Cloud Computing and Resource Management参考文献 7被引用数 7

ひとこと要約

本論文では、12の重要なSparkパラメータをチューニングする軽量で試行錯誤型の手法を提案し、最小限の実験回数で応用のパフォーマンスを顕著に向上させる。アプリケーションをブラックボックスとして扱い、パラメータ間の相関関係を活用することで、ペタスケールのスーパーコンピュータ上で実施した3つの実世界の事例において最大10倍の高速化を達成した。

ABSTRACT

Spark has been established as an attractive platform for big data analysis, since it manages to hide most of the complexities related to parallelism, fault tolerance and cluster setting from developers. However, this comes at the expense of having over 150 configurable parameters, the impact of which cannot be exhaustively examined due to the exponential amount of their combinations. The default values allow developers to quickly deploy their applications but leave the question as to whether performance can be improved open. In this work, we investigate the impact of the most important of the tunable Spark parameters on the application performance and guide developers on how to proceed to changes to the default values. We conduct a series of experiments with known benchmarks on the MareNostrum petascale supercomputer to test the performance sensitivity. More importantly, we offer a trial-and-error methodology for tuning parameters in arbitrary applications based on evidence from a very small number of experimental runs. We test our methodology in three case studies, where we manage to achieve speedups of more than 10 times.

研究の動機と目的

• 150以上の設定可能なパラメータを持つSparkアプリケーションのチューニングという課題に対処し、全探索が非現実的であることを考慮する。
• 実世界のワークロードにおけるSparkパフォーマンスに最も大きな影響を与えるパラメータを同定する。
• 10回以下の実験回数で済む、実用的でアプリケーション固有のチューニング手法を開発する。
• 実際の事例研究を通じて、この手法の有効性を実証する。
• パラメータ間の相関関係やハードウェア依存性を考慮した、原理的かつ低コストのパラメータチューニング手法を提供する。

提案手法

• シリアル化、シャッフル管理、メモリ比率、圧縮設定を含む、パフォーマンスへの影響が大きいと予想される12の主要なSparkパラメータを選定する。
• 経験的感度分析に基づき、spark.serializer や spark.shuffle.manager のような高い影響を持つパラメータを優先する試行錯誤的手法を適用する。
• パラメータ間の相関関係を考慮した形で、組み合わせを体系的にテストする構造化された設定シーケンスを採用する。
• 各Sparkアプリケーションをブラックボックスとして扱い、コードレベルの詳細な分析を避ける一方で、測定可能なパフォーマンス変化に焦点を当てる。
• 実験を停止し、設定を採用するタイミングを示すためのパフォーマンス向上のしきい値（例：5–10%）を設定する。
• 1つのペタスケールスーパーコンピュータ（MareNostrum）の結果を活用し、任意のアプリケーションに適用可能な一般化可能なチューニング戦略を導出する。

実験結果

リサーチクエスチョン

• RQ1 Sparkの150以上の設定可能なパラメータのうち、実際のワークロードにおいてパフォーマンスに最も顕著な影響を与えるのはどれか？
• RQ2 低コストで試行錯誤型の手法が、全探索を避けながらも高パフォーマンスな設定を効果的に同定できるか？
• RQ3 パラメータ同士の相互作用や相関関係は、多様なSparkアプリケーションにおいてチューニングの結果にどのように影響を与えるか？
• RQ4 原則的かつ体系的な手法を用いて、わずか数回の実験回数でどれほどパフォーマンスを向上させられるか？
• RQ5 提案手法は、異なるアプリケーションや入力データの特性に一般化可能か？

主な発見

• KryoSerializer（spark.serializer）が最も顕著なパフォーマンス影響を示し、ソート・バイ・キーのベンチマークではデフォルトと比較して実行時間を44%削減した。
• ファイルの統合を有効にしたハッシュシャッフルマネージャ（shuffle.consolidateFiles=true）と最適なメモリ比率（0.4/0.4）を組み合わせることで、ソート・バイ・キーのパフォーマンスが218秒から120秒に改善された。
• k-meansの事例では、最終的な設定（memoryFraction=0.1/0.7 および shuffle.spill.compress=false）により、実行時間が654秒から54秒にまで短縮され、91%の高速化が達成された。
• アグリゲート・バイ・キーでは、5%のしきい値を満たす21%の改善が、ハッシュシャッフルと memoryFraction=0.1/0.7 を用いて達成され、新規ワークロードに対しても有効性が示された。
• パフォーマンス向上は入力に強く依存しており、k-meansの事例ではデータの特性の違いにより、以前のプロファイリング実行とは顕著に異なる結果が得られた。
• 本手法により、わずか10回以下の実験回数で実応用において最大10倍の高速化を達成し、その効率性と実用性が検証された。