[論文レビュー] The Living Application

Derek Groen, Stefan Harfst+1 more|arXiv (Cornell University)|May 1, 2010

Distributed and Parallel Computing Systems参考文献 29被引用数 2

ひとこと要約

本稿では、ワークロードおよび環境的条件に応じて実行中に最適なグリッドリソースを自律的に選択する自己管理型システム「ライブアプリケーション」を紹介する。テストケースでは、N体銀河衝突シミュレーションの高速化を図るために、大陸を越えてGPU搭載マシンとGRAPE搭載マシンの間で動的にリソースを切り替えるライブシミュレーションが実施され、リアルタイムで適応的かつユーザーに透明なパフォーマンス最適化を達成した。

ABSTRACT

We present the living application, a method to autonomously manage applications on the grid. During its execution on the grid, the living application makes choices on the resources to use in order to complete its tasks. These choices can be based on the internal state, or on autonomously acquired knowledge from external sensors. By giving limited user capabilities to a living application, the living application is able to port itself from one resource topology to another. The application performs these actions at run-time without depending on users or external workflow tools. We demonstrate this new concept in a special case of a living application: the living simulation. Today, many simulations require a wide range of numerical solvers and run most efficiently if specialized nodes are matched to the solvers. The idea of the living simulation is that it decides itself which grid machines to use based on the numerical solver currently in use. In this paper we apply the living simulation to modeling the collision between two galaxies in a test setup with two specialized computers. This simulation switches at run-time between a GPU-enabled computer in the Netherlands and a GRAPE-enabled machine that resides in the United States, using an oct-tree N-body code whenever it runs in the Netherlands and a direct N-body solver in the United States.

研究の動機と目的

• 大規模な科学的シミュレーションにおいて、多様な数値解法を専用ハードウェアに効率的にマッピングする課題に対処すること。
• ハイパフォーマンスコンピューティングにおけるリソース割り当ての静的ワークフローおよびユーザーの干渉に依存しないこと。
• 計算トポロジーおよびワークロードの変化にリアルタイムで適応できるようにアプリケーションを可能にすること。
• 分散・地理的に分散したグリッド環境における自己最適化シミュレーションの実現可能性を示すこと。

提案手法

• ライブアプリケーションは、実行時の意思決定により、現在の数値解法およびシステム状態に応じてリソースを選択する。
• 内部状態および外部センサーのデータを監視し、実行に最適な計算ノードを特定する。
• システムは、オランダのGPU搭載マシンと米国のGRAPE搭載マシンの間で動的に切り替わる。
• シミュレーションでは、オランダのGPUマシンでオクティーブリーN体コードが使用され、米国のGRAPEマシンでは直接N体ソルバーが使用される。
• リソースの切り替えは、ユーザーまたはワークフローツールの干渉なしに実行時に発生する。
• リソース遷移の間でも状態と整合性を維持することで、計算の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 科学的アプリケーションは、実行中に専用計算リソースを自律的に選択・切り替えることができるか？
• RQ2 アプリケーションは、リアルタイムでのワークロードおよびハードウェア特性に基づいてリソース使用をどのように適応させるか？
• RQ3 自律的リソース管理は、分散・異種のグリッド環境におけるパフォーマンスをどの程度向上できるか？
• RQ4 自己最適化シミュレーションは、手動設定および外部ワークフローツールへの依存を低減できるか？

主な発見

• ライブシミュレーションは、実行中にオランダのGPUマシンと米国のGRAPEマシンの間で正常に切り替わった。
• システムは、GPUではオクティーブリーN体コード、GRAPEでは直接N体ソルバーを用いることで、アルゴリズムとハードウェアを最適にマッチさせた。
• リソース選択および切り替えは、ユーザーの入力や外部ワークフローの調整なしに発生した。
• トポロジーの変更に対しても計算の継続性と状態が維持されたため、実行時における適応可能性が実証された。