[論文レビュー] Resource Allocation in Public Cluster with Extended Optimization Algorithm

Zaenal Akbar, L. T. Handoko|ArXiv.org|Aug 4, 2007

Distributed and Parallel Computing Systems参考文献 8被引用数 4

ひとこと要約

本論文では、LIPI Public Clusterを対象として、パブリックハイパフォーマンスコンピューティングクラスタにおける自動リソース割り当てのための拡張遺伝的アルゴリズムを提案する。ユーザーのリクエストに基づくタスクスケジューリングの最適化により、正確な手法と比較して著しく短縮された計算時間でほぼ最適なパフォーマンスを達成し、共有コンピューティング環境におけるリアルタイム意思決定の強力な可能性を示している。

ABSTRACT

We introduce an optimization algorithm for resource allocation in the LIPI Public Cluster to optimize its usage according to incoming requests from users. The tool is an extended and modified genetic algorithm developed to match specific natures of public cluster. We present a detail analysis of optimization, and compare the results with the exact calculation. We show that it would be very useful and could realize an automatic decision making system for public clusters.

研究の動機と目的

• 手動または非最適なスケジューリングに起因するパブリッククラスタ内でのリソース割り当ての非効率性を是正すること。
• パブリッククラスタ環境向けにスケーラブルで自動化された意思決定システムを開発すること。
• パブリッククラスタのワークロードおよびリクエストパターンに特化した遺伝的アルゴリズムの適応を図ること。
• 高い解の品質を維持しながらリソース割り当ての計算時間を短縮すること。
• 拡張最適化アルゴリズムのパフォーマンスを正確な計算手法と比較すること。

提案手法

• パブリッククラスタワークロードの特徴、例えば多様なジョブタイプや動的なユーザー要求を扱えるように、拡張遺伝的アルゴリズムを設計する。
• クラスタの利用度、ジョブ完了時間、ユーザー間の公平性を考慮した適応度関数を用いる。
• クラスタスケジューリングの文脈において収束性と解の品質を向上させるために、選択、交差、変異のオペレータを変更する。
• LIPI Public Clusterの履歴ジョブリクエストデータを用いて、反復的にアルゴリズムを最適化する。
• 小規模なテストケースについて、遺伝的アルゴリズムの結果を正確な計算手法と比較することでパフォーマンスを評価する。
• リソース制限、ジョブ優先度、実行デッドラインなどの制約を最適化プロセスに組み込む。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムをどのように効果的に拡張することで、パブリッククラスタ環境におけるリソース割り当ての最適化を達成できるか？
• RQ2 拡張遺伝的アルゴリズムは正確な手法と比較して、どの程度の解の品質を達成できるか？
• RQ3 提案されたアルゴリズムは、パブリッククラスタスケジューリングにおけるリアルタイムで自動化された意思決定を可能にするか？
• RQ4 さまざまなワークロードにおいて、アルゴリズムの収束速度とスケーラビリティはどのように評価できるか？
• RQ5 カスタマイズされた遺伝的オペレータが、解の品質およびリソース利用度にどのような影響を与えるか？

主な発見

• 拡張遺伝的アルゴリズムは、正確な計算手法とほぼ同一のリソース割り当て結果を達成している。
• スケジューリング意思決定にかかる計算時間が著しく短縮されており、リアルタイムの割り当てが可能である。
• 多様で動的なユーザー要求パターン下でも、解の品質は高い水準を維持している。
• アルゴリズムはパブリッククラスタの特定のワークロード特性に強く適応可能であり、優れたスケーラビリティを示している。
• 標準的な遺伝的アルゴリズムと比較して、カスタマイズされた遺伝的オペレータの使用により収束性と解のロバスト性が向上している。
• これらの結果は、アルゴリズムをパブリッククラスタ環境における自動スケジューリングシステムとして導入可能であることを裏付けている。