[論文レビュー] Multi and Independent Block Approach in Public Cluster

Zaenal Akbar, L. T. Handoko|arXiv (Cornell University)|Aug 25, 2007

Cloud Computing and Resource Management参考文献 9被引用数 3

ひとこと要約

本論文は、複数のマスターノード（1ブロックあたり1つ）を用いて、パブリッククラスタにおけるマルチで独立したブロックアーキテクチャを提案する。これにより、データ集約的ワークロードのパフォーマンスが向上する。マスターコントロールを分散化することで、ボトルネックの低減、スケーラビリティの向上、および独立したブロック間での並列ジョブ実行が可能となり、大規模な展開においてクラスタ全体の効率が顕著に向上する。

ABSTRACT

We present extended multi block approach in the LIPI Public Cluster. The multi block approach enables a cluster to be divided into several independent blocks which run jobs owned by different users simultaneously. Previously, we have maintained the blocks using single master node for all blocks due to efficiency and resource limitations. Following recent advancements and expansion of nodeś number, we have modified the multi block approach with multiple master nodes, each of them is responsible for a single block. We argue that this approach improves the overall performance significantly, for especially data intensive computational works.

研究の動機と目的

• 集中型マスターノード管理に起因する大規模パブリッククラスタにおけるパフォーマンスボトルネックを解消すること。
• クラスタを独立したユーザー固有のブロックに分割することで、並列ジョブ実行を可能にすること。
• 分散型マスターノードアーキテクチャにより、スケーラビリティとリソース利用効率を向上させること。
• パブリッククラスタ環境におけるデータ集約的計算ワークロードの効率的管理を支援すること。
• 従来の単一マスターマルチブロックシステムにおけるリソース制限を克服するため、複数の専用マスターノードを導入すること。

提案手法

• LIPIパブリッククラスタを、各々が専用マスターノードによって管理される複数の独立したブロックに分割する。
• 各マスターノードに、そのブロックのジョブスケジューリング、リソース割り当て、監視を担当させる。
• 制御を分散化することで、単一障害ポイントの排除と、特定マスターノードへの負荷軽減を実現する。
• パフォーマンス向上を図りつつ、元の単一マスターマルチブロック設計との後方互換性を維持する。
• ブロック間の一貫性とフェイルセーフを確保するため、分散型協調メカニズムを用いる。
• 各ブロック内でのデータと計算の局所化によりネットワーク遅延を低減するよう、データアクセスパターンを最適化する。

実験結果

リサーチクエスチョン

• RQ1 複数のブロックにまたがるマスターノードの責任分散が、クラスタパフォーマンスにどのように影響するか？
• RQ2 マルチマスターブロックアーキテクチャは、パブリッククラスタにおけるスケーラビリティをどの程度向上させるか？
• RQ3 独立したブロック管理は、ジョブスケジューリングの遅延とリソース競合を低減できるか？
• RQ4 本アプローチにより、データ集約的ワークロードでどの程度のパフォーマンス向上が達成できるか？
• RQ5 複数の独立したマスターノードを有するシステムは、一貫性とフェイルセーフをどのように維持するか？

主な発見

• マルチマスターブロックアーキテクチャは、特にデータ集約的計算タスクにおいて、全体的なクラスタパフォーマンスを顕著に向上させる。
• 分散型マスターノードにより、特定ノードへの負荷が軽減され、ボトルネックが低減し、応答時間が改善される。
• 独立したブロック管理により、異なるユーザーからのジョブが干渉なく並列実行可能となる。
• 複数のマスターノードに負荷が分散されることで、システムのスケーラビリティが向上する。
• 従来の単一マスターマルチブロックモデルと比較して、リソース利用効率とジョブスループットが向上する。
• 局所的制御と協調メカニズムにより、本アプローチはシステムの安定性とフェイルセーフを維持する。