[論文レビュー] Seeing Shapes in Clouds: On the Performance-Cost trade-off for Heterogeneous Infrastructure-as-a-Service

Gordon Inggs, David B. Thomas+2 more|arXiv (Cornell University)|Jun 22, 2015

Distributed systems and fault tolerance参考文献 5被引用数 3

ひとこと要約

本稿では、CPU、GPU、FPGAを含む異種のインfraストラクチャとしてのサービス（IaaS）プラットフォームにおけるワークロード分割を最適化する形式的で混合整数線形プログラミング（MILP）手法を提案する。性能とコストのバランスを取るために、タスク割り当てを多目的最適化問題としてモデル化し、Pareto最適なトレードオフを達成する。実世界のオプションプライシングワークロードにおいて、ヒューリスティック手法と比較して、遅延を最大110%短縮し、コストを50%以上削減した。

ABSTRACT

In the near future FPGAs will be available by the hour, however this new Infrastructure as a Service (IaaS) usage mode presents both an opportunity and a challenge: The opportunity is that programmers can potentially trade resources for performance on a much larger scale, for much shorter periods of time than before. The challenge is in finding and traversing the trade-off for heterogeneous IaaS that guarantees increased resources result in the greatest possible increased performance. Such a trade-off is Pareto optimal. The Pareto optimal trade-off for clusters of heterogeneous resources can be found by solving multiple, multi-objective optimisation problems, resulting in an optimal allocation of tasks to the available platforms. Solving these optimisation programs can be done using simple heuristic approaches or formal Mixed Integer Linear Programming (MILP) techniques. When pricing 128 financial options using a Monte Carlo algorithm upon a heterogeneous cluster of Multicore CPU, GPU and FPGA platforms, the MILP approach produces a trade-off that is up to 110% faster than a heuristic approach, and over 50% cheaper. These results suggest that high quality performance-resource trade-offs of heterogeneous IaaS are best realised through a formal optimisation approach.

研究の動機と目的

• 異種のIaaSプラットフォーム（CPU、GPU、FPGA）にわたる計算ワークロードを、性能とコストの両立を図って効率的に分割する課題に対処すること。
• 異種のインフラストラクチャにおける性能-コストトレードオフを、多目的最適化問題として形式化すること。
• 形式的最適化（MILP）が、ヒューリスティック手法よりも優れた効率的でPareto最適なタスク割り当てを生成するかどうかを評価すること。
• 金融的HPCワークロードのような実世界のHPCワークロードにおいて、形式的最適化の実用的利点を示すこと。
• 知的かつ適切に分割された場合、異種のIaaSプラットフォームが、顕著な性能およびコスト上の利点を提供できることを検証すること。

提案手法

• ハードウェアメトリクスと使用率に基づく予測実行時間モデルを用いて、各IaaSプラットフォーム（CPU、GPU、FPGA）の性能およびコスト特性をモデル化する。
• 合計コストと遅延を最小化する目的関数を有する、混合整数線形プログラミング（MILP）問題として、ワークロード分割問題を定式化する。
• プラットフォーム間でのタスク割り当てのための意思決定変数を定義し、固定セットアップ時間や可変時間クォータコストといった非線形効果を組み込む。
• 非線形性や時間クォータ効果を考慮しないで、絶対的な遅延とコストに基づいてプラットフォームを優先順位付けするヒューリスティック手法を実装する。
• AWS、GCE、Azureの16の異種IaaSプラットフォームを用いた、128個のモンテカルロオプションプライシングタスクからなるベンチマークワークロードを用いる。
• モデルの予測を実際の実行測定値と照合することで、最適化手法の正確さと実用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 形式的多目的最適化アプローチは、異種IaaSにおいて、ヒューリスティック手法よりも効率的な性能-コストトレードオフを生成できるか？
• RQ2 固定セットアップ時間や時間クォータコストといった非線形要因は、ワークロード分割におけるヒューリスティック手法と形式的最適化の有効性にどのように影響するか？
• RQ3 CPU、GPU、FPGAからなる異種IaaSプラットフォームは、均一なプラットフォームと比較して、性能およびコスト効率の面でどの程度優れているか？
• RQ4 予測モデルは、多様なIaaSプラットフォームにわたるタスク割り当ての遅延とコストをどの程度正確に推定できるか？
• RQ5 実世界のHPCワークロードにおいて、プラットフォームの異種性は、性能とコストのPareto最適なトレードオフにどのような影響を及ぼすか？

主な発見

• MILPベースの最適化アプローチは、最良ケースにおいて、ヒューリスティック手法と比較して遅延を110%短縮した。
• 同じ性能制約下で、MILPアプローチはヒューリスティック手法と比較して、合計コストを50%以上削減した。
• ヒューリスティック手法は、時間クォータ効果をモデル化できないため、CPUプラットフォームを効果的に活用できなかったが、MILPアプローチはそれらを活用してコストと性能の両面で利点を得た。
• 両手法のモデル予測値は、実際の測定結果と10%以内の誤差で一致しており、実用的応用に向けた高い予測精度を示した。
• MILPが生成したPareto最適なトレードオフは、中央値および上位コスト境界の両方でヒューリスティック手法を上回り、一貫した優位性を示した。
• 異種IaaSプラットフォームは、単一のプラットフォームタイプよりも顕著に優れた性能およびコスト効率を総合的に達成した。