[論文レビュー] A Self-adaptive Auto-scaling Method for Scientific Applications on HPC Environments and Clouds

Kiran Mantripragada, Alécio Pedro Delazari Binotto+1 more|arXiv (Cornell University)|Dec 19, 2014

Seismic Imaging and Inversion Techniques参考文献 8被引用数 6

ひとこと要約

本論文では、実行期限を満たすために実行時においてオンプレミスHPCクラスタからクラウドへワークロードを動的に移行する自己適応的自己スケーリング手法を提案する。実行時間の監視と完了予測により、リソースの変動やオーバーヘッドにもかかわらず、クラウドバーストをトリガーするシステムが、期限切れの回数を削減する。

ABSTRACT

High intensive computation applications can usually take days to months to finish an execution. During this time, it is common to have variations of the available resources when considering that such hardware is usually shared among a plurality of researchers/departments within an organization. On the other hand, High Performance Clusters can take advantage of Cloud Computing bursting techniques for the execution of applications together with the on-premise resources. In order to meet deadlines, high intensive computational applications can use the Cloud to boost their performance when they are data and task parallel. This article presents an ongoing work towards the use of extended resources of an HPC execution platform together with Cloud. We propose an unified view of such heterogeneous environments and a method that monitors, predicts the application execution time, and dynamically shifts part of the domain -- previously running in local HPC hardware -- to be computed on the Cloud, meeting then a specific deadline. The method is exemplified along with a seismic application that, at runtime, adapts itself to move part of the processing to the Cloud (in a movement called bursting) and also auto-scales (the moved part) over cloud nodes. Our preliminary results show that there is an expected overhead for performing this movement and for synchronizing results, but our outcomes demonstrate it is an important feature for meeting deadlines in the case an on-premise cluster is overloaded or cannot provide the capacity needed for a particular project.

研究の動機と目的

• オンプレミスリソースの過負荷や制限により生じる科学的HPCアプリケーションにおける期限切れの課題に対処すること。
• 実行時間の予測が期限を超過する場合に、オンプレミスクラスタからクラウドへのシームレスなワークロード移行を可能にすること。
• 実行時において監視、予測、クラウドバーストのトリガーを自動で行う自己適応メカニズムを導入すること。
• 過剰なローカルHPCリソースのプロビジョニングを避けることで、資本支出を最小限に抑えること。
• オンプレミスHPCとクラウドの異種環境を統一した実行モデルとして維持しつつ、同期と負荷分散を保つこと。

提案手法

• 実行時における各タイムステップごとの実行時間を監視し、アプリケーションの完了時間を推定する。
• 予測モデリングを用いて、推定された実行時間とユーザーが提供した期限を比較する。
• 予測された実行時間が期限を超えると、計算ドメインの一部をクラウドに動的に移行することでクラウドバーストをトリガーする。
• ワークロードの需要に応じて仮想マシンをプロビジョニングおよび管理することで、クラウドベースの部分に自己スケーリングを適用する。
• データおよびタスクのパーティショニングを調整することで、オンプレミスとクラウドで実行された部分の間で同期を維持する。
• オンプレミスクラスタとクラウドリソースの異種性を抽象化する統一された実行フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 科学的アプリケーションは、厳密な期限を満たすためにハイブリッドHPCクラウド環境でどのように動的に実行を適応させるか？
• RQ2 データ並列およびタスク並列ワークロードにおいて、実行時間の正確な実行時予測を可能にするメカニズムは何か？
• RQ3 手動の介入なしに、自動的かつ効率的にクラウドバーストをトリガーする方法は何か？
• RQ4 ハイブリッドHPCクラウド環境における動的ワークロード移行と自己スケーリングのパフォーマンスとコストのトレードオフは何か？
• RQ5 オンプレミスとクラウドで実行されたコンponent間の同期と負荷分散は、どのように処理されるか？

主な発見

• 提案手法は、オンプレミス実行が期限切れになると予測される場合に、動的クラウドバーストを成功裏に実現した。
• 初期の結果では、データ移動や同期に起因するオーバーヘッドは想定されるが、期限を満たす利点がコストを上回ることが示された。
• この手法は、多くの計算集約的科学的アプリケーションの特徴を反映する地震シミュレーションのユースケースにおいて実現可能性を示した。
• CPUおよびGPUノードを併用したハイブリッド実行をサポートしており、今後の作業では異種ノードのスケジューリングを対象としている。
• オンデマンドクラウドのエラスティシティを活用することで、高価なオンプレミスハードウェアのアップグレードの必要性を低減した。
• 動的な期限の変更にも適応可能であり、ノード障害や並列実行の変動といった実行時リソースの変動に対しても応答できる。