[論文レビュー] Execution Templates: Caching Control Plane Decisions for Strong Scaling of Data Analytics

Omid Mashayekhi, Hang Qu+2 more|arXiv (Cornell University)|May 4, 2017

Cloud Computing and Resource Management参考文献 29被引用数 12

ひとこと要約

この論文は、実行テンプレートを導入する。実行テンプレートは、制御プレーンの抽象化であり、細かく制御可能なスケジューリングを実現しながらも、分散システムの高いスループットを達成する。評価では、1秒間に500,000タスクまでスケーリング可能である。頻繁に実行される制御フローブロックをキャッシュし、動的な編集やテンプレートの置き換えを許可することで、実行テンプレートはスケジューリングの柔軟性を維持しながらパフォーマンスを損なわず、データ分析ワークロードにおける強スケーリングを実現する。

ABSTRACT

Control planes of cloud frameworks trade off between scheduling granularity and performance. Centralized systems schedule at task granularity, but only schedule a few thousand tasks per second. Distributed systems schedule hundreds of thousands of tasks per second but changing the schedule is costly. We present execution templates, a control plane abstraction that can schedule hundreds of thousands of tasks per second while supporting fine-grained, per-task scheduling decisions. Execution templates leverage a program's repetitive control flow to cache blocks of frequently-executed tasks. Executing a task in a template requires sending a single message. Large-scale scheduling changes install new templates, while small changes apply edits to existing templates. Evaluations of execution templates in Nimbus, a data analytics framework, find that they provide the fine-grained scheduling flexibility of centralized control planes while matching the strong scaling of distributed ones. Execution templates support complex, real-world applications, such as a fluid simulation with a triply nested loop and data dependent branches.

研究の動機と目的

• CPUとタスクスループットの増加にもかかわらず、強スケーリングを制限するデータ分析フレームワークの制御プレーンにおけるボトルneckを解消すること。
• 現代のデータ分析システムにおいて、細かく制御可能なスケジューリング（集中型）と高いタスクスループット（分散型）のトレードオフを是にする方法を模索すること。
• 動的でデータ依存の制御フローをサポートするが、低遅延かつ高スループットのタスクスケジューリングを維持できる制御プレーンの抽象化を設計すること。
• 実際のワークロードにおいて実行テンプレートを評価し、ネストされたループや条件分岐を含む複雑なシミュレーションを含めること。
• 実行テンプレートが分散データフローサイステムと同等のパフォーマンスを発揮しながらも、集中型コントローラーのスケジューリングの柔軟性を保持できることを示すこと。

提案手法

• 実行テンプレートは、コントローラー内で頻繁に実行されるタスクのブロックをキャッシュすることで、繰り返しのスケジューリング意思決定を削減する。
• テンプレートは1つのメッセージを送信することでインスタンス化され、大規模なスケールで低遅延のタスク実行を可能にする。
• 小さなスケジューリング変更は、既存のテンプレートに対する動的編集によって適用されるが、大きな変更は新しいテンプレートのインストールをトリガーする。
• システムはプログラム解析を用いて効率的なテンプレートを生成し、展開前に事前条件を検証する。
• パッチ適用メカニズムにより、実行時におけるシステム状態や制御フローの更新が可能となり、データ依存の分岐や遅延タスクの対処が可能になる。
• 実行テンプレートは、Nimbusと呼ばれるデータ分析フレームワークに統合されており、ワーカーはコントローラーの干渉なしにキャッシュされたテンプレートからタスクを実行する。

実験結果

リサーチクエスチョン

• RQ1 制御プレーンの抽象化として、細かく制御可能なスケジューリングの柔軟性と、1秒間に数10万タスクまで強スケーリングできる性能を両立させられるか？
• RQ2 長時間実行される分析ジョブにおける繰り返しの制御フローをどのように活用し、制御プレーンのオーバーヘッドを低減できるか？
• RQ3 キャッシュされたテンプレートベースのスケジューリングモデル内で、動的制御フローとデータ依存分岐をどの程度サポートできるか？
• RQ4 実際のワークロードにおいて、実行テンプレートのパフォーマンスは、集中型スケジューラ（例：Spark）と分散データフローサイステム（例：Naiad）と比べてどうなるか？
• RQ5 実行テンプレートは、短時間タスクを伴う複雑なプロダクショングレードの分析ワークロード、例えば流体シミュレーションをサポートできるか？

主な発見

• Nimbusフレームワークにおいて、実行テンプレートは1秒間に500,000タスクのスループットを達成し、分散データフローサイステムと同等の強スケーリング性能を示した。
• システムは、テンプレートのインプレース編集により動的なスケジューリング変更をサポートし、遅延タスクや障害に対する低遅延対応が可能になった。
• 実行テンプレートは、100μsの短いタスクを伴うPhysBAMの粒子レベルセット水シミュレーションや、三重にネストされたループを含む複雑なワークロードを正常に処理できた。
• 評価では、実行テンプレートが、高スループットなシナリオにおいてSparkの集中型スケジューラを上回るパフォーマンスを発揮しながらも、タスク単位のスケジューリングの柔軟性を維持した。
• 実行時パッチ適用により、動的制御フローが可能になり、実行の再起動なしにデータ依存分岐や状態更新が可能になった。
• 実行テンプレートは、静的データフローグラフの概念を一般化し、複数のアクティブなテンプレート、動的編集、実行時再構成をサポートするようになった。