[論文レビュー] A batch scheduler with high level components

Nicolas Capit, Georges Da Costa+6 more|arXiv (Cornell University)|Jun 2, 2005

Distributed and Parallel Computing Systems参考文献 5被引用数 99

ひとこと要約

この論文では、Perl と MySQL を活用して低ソフトウェア複雑性で効率的なリソース管理を実現する大規模クラスタ向けのハイレベルバッチスケジューラ、OAR を提示する。ハイレベルツールを用いても、生産用スケジューラと同等のパフォーマンスを発揮し、700ノードのメトロポリタングリッド環境を強力なスケーラビリティと耐障害性を備えて効果的に管理している。

ABSTRACT

In this article we present the design choices and the evaluation of a batch scheduler for large clusters, named OAR. This batch scheduler is based upon an original design that emphasizes on low software complexity by using high level tools. The global architecture is built upon the scripting language Perl and the relational database engine Mysql. The goal of the project OAR is to prove that it is possible today to build a complex system for ressource management using such tools without sacrificing efficiency and scalability. Currently, our system offers most of the important features implemented by other batch schedulers such as priority scheduling (by queues), reservations, backfilling and some global computing support. Despite the use of high level tools, our experiments show that our system has performances close to other systems. Furthermore, OAR is currently exploited for the management of 700 nodes (a metropolitan GRID) and has shown good efficiency and robustness.

研究の動機と目的

• ハイレベルなソフトウェアコンponentsを用いて複雑性を低減する、スケーラブルで頑健な大規模クラスタ向けバッチスケジューラの設計。
• Perl や MySQL といったハイレベルツールが、低レベルでカスタム構築されたスケジューラと同等のパフォーマンスとスケーラビリティを達成できるかどうかの評価。
• 優先順位スケジューリング、リザベーション、バックフィリング、グローバルコンピューティング対応といったコア機能を、保守性の高いアーキテクチャで実装すること。
• 700ノードのメトロポリタングリッドインfra構造上での実世界でのデプロイによるシステムの検証。
• 複雑なリソース管理システムが、効率的にハイレベルツールを用いて構築可能であり、効率性を損なわずに実現できることの実証。

提案手法

• タスクオーケストレーションとワークフロー制御の主ロジック層としてスクリプト言語の Perl を使用する。
• ジョブの状態、リソース割り当て、スケジューリングメタデータを永続化するため、MySQL リレーショナルデータベースを採用し、構造的かつスケーラブルなデータ管理を実現する。
• 優先順位キュー、リザベーションメカニズム、バックフィリングアルゴリズムを含むスケジューリングポリシーをカプセル化するため、Perl のハイレベル抽象化を活用する。
• 軽量なエージェントと標準的なジョブ提出インターフェースを介してクラスタインfraに統合し、互換性を確保する。
• 標準化されたインターフェースを通じて複数の管理ドメインにわたるジョブ配布を可能にすることで、グローバルコンピューティングをサポートする。
• スループット、レイテンシ、障害耐性を測定することで、700ノードのグリッド上での実デプロイを通じてパフォーマンスと信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 Perl や MySQL といったハイレベルツールで構築されたバッチスケジューラが、低レベルでカスタム構築されたスケジューラと同等のパフォーマンスとスケーラビリティを達成できるか。
• RQ2 ハイレベル抽象化は、大規模クラスタ環境においてシステム効率を損なわせることなく、ソフトウェア複雑性をどの程度低減できるか。
• RQ3 数百ノードと複雑なスケジューリングポリシーを含む実世界のデプロイにおいて、このシステムはどの程度スケーリングできるか。
• RQ4 バックフィリング、リザベーション、優先順位キューといった機能は、ハイレベルスクリプトとリレーショナルデータベースを用いて効果的に実装できるか。
• RQ5 このようなシステムは、生産用グリッド環境において実際の耐障害性と保守性をどの程度発揮するか。

主な発見

• OAR は 700ノードのメトロポリタングリッドインfraを効果的に管理し、実世界での強力なスケーラビリティと運用上の耐障害性を示している。
• Perl や MySQL といったハイレベルツールに依存しているにもかかわらず、他の生産用バッチスケジューラと同等のパフォーマンスを達成している。
• ハイレベルコンponentsの使用によりソフトウェア複雑性が顕著に低減されつつ、優先順位スケジューリング、リザベーション、バックフィリングといった主要機能を完全にサポートしている。
• リレーショナルデータベースバックエンドにより、信頼性の高い状態の永続化と効率的なクエリベースのスケジューリング意思決定が可能になった。
• 長期間にわたる生産環境での運用において、重大な障害が報告されない良好な故障耐性と安定性を示している。
• 結果として、複雑なリソース管理システムが、パフォーマンスやスケーラビリティを損なわず、ハイレベルツールを用いて効率的に構築可能であることが確認された。