[論文レビュー] Public Cluster : parallel machine with multi-block approach

Zaenal Akbar, Slamet+5 more|ArXiv.org|Aug 4, 2007

Parallel Computing and Optimization Techniques参考文献 1被引用数 6

ひとこと要約

本論文では、ユーザーごとにカスタマイズされた設定で隔離されたデーモンを起動することで、複数ユーザーが同時に並列計算を実行できるようにする、パブリッククラスタ用のマルチブロックアーキテクチャを提案する。システムはウェブベースの制御および監視インターフェースを採用しており、性能評価の結果、全体の効率性にほとんど影響がないことが示され、LIPIパブリッククラスタのような共有パブリックHPC環境において信頼性があることを実証している。

ABSTRACT

We introduce a new approach to enable an open and public parallel machine which is accessible for multi users with multi jobs belong to different blocks running at the same time. The concept is required especially for parallel machines which are dedicated for public use as implemented at the LIPI Public Cluster. We have deployed the simplest technique by running multi daemons of parallel processing engine with different configuration files specified for each user assigned to access the system, and also developed an integrated system to fully control and monitor the whole system over web. A brief performance analysis is also given for Message Parsing Interface (MPI) engine. It is shown that the proposed approach is quite reliable and affect the whole performances only slightly.

研究の動機と目的

• 複数のユーザーが同時にアクセス可能なパブリックで共有可能な並列計算環境を実現すること。
• 1つのクラスタ上で複数の独立したジョブ（ブロック）が、異なるユーザーから同時に並列実行されることをサポートすること。
• パブリックハイパフォーマンスコンピューティング（HPC）クラスタ用にスケーラブルで信頼性の高いシステムアーキテクチャを設計すること。
• システム制御およびリアルタイム監視を可能にする集中型ウェブベースインターフェースを実装すること。
• マルチブロックアプローチがメッセージパッシングインターフェース（MPI）ワークロードに与える性能への影響を評価すること。

提案手法

• ユーザー固有の設定で構成された複数の並列処理エンジンデーモンをデプロイし、個々のジョブを隔離・管理する。
• 各ユーザーまたはジョブグループを、専用リソース割り当てと設定を持つ別個の「ブロック」に割り当てる。
• 各デーモンの独立した動作と隔離を保証するため、個別の設定ファイルを用いる。
• すべてのクラスタ活動をリアルタイムで監視・制御できる統合型ウェブベースシステムを開発する。
• 分散コンピューティングワークロード用にメッセージパッシングインターフェース（MPI）エンジンを実装する。
• MPIエンジンの性能分析を実施し、システムのオーバーヘッドと信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 パブリッククラスタは、干渉を防ぎながら、複数ユーザーが同時に並列ワークロードを実行できるか？
• RQ2 複数ユーザーが同時にジョブを実行する状況でも、隔離と信頼性を確保するためのアーキテクチャ的アプローチは何か？
• RQ3 マルチブロックデーモンアーキテクチャは、全体のシステム性能にどの程度の影響を与えるか？
• RQ4 集中型ウェブインターフェースは、複数ユーザークラスタ環境の管理と監視を効果的に行えるか？
• RQ5 異なる設定を持つ複数のデーモンを実行することで、どの程度の性能オーバーヘッドが生じるか？

主な発見

• マルチブロックアプローチにより、共有クラスタインfra上で複数ユーザーのジョブが同時に実行可能であることが成功裏に実証された。
• 複数の隔離されたデーモンを管理する複雑さにもかかわらず、システムは高い信頼性を維持している。
• マルチブロックアーキテクチャによる性能劣化は最小限であり、全体のシステム効率性への影響はわずかにとどまる。
• ウェブベースの監視・制御システムにより、クラスタ動作に対するリアルタイムの可視性が効果的に得られた。
• MPIエンジンの評価結果から、本アプローチが実運用向けパブリックHPC用途に適していることが確認された。
• LIPIパブリッククラスタへのデプロイにより、実用的妥当性とスケーラビリティが実証された。