[論文レビュー] Turning Cluster Management into Data Management: A System Overview

Eric Robinson, David J. DeWitt|ArXiv.org|Dec 27, 2006

Distributed and Parallel Computing Systems参考文献 5被引用数 14

ひとこと要約

この論文は、3層ウェブアーキテクチャとデータベース技術を活用することで、低レベルのクラスタ管理を高レベルなデータ管理問題に変換するデータ指向のクラスタ管理システム、CondorJ2を紹介する。クラスタリソースと操作をデータとしてモデル化することにより、大規模クラスタ（1,000〜10,000ノード）におけるスケーラビリティと保守性が向上し、データベースシステムが従来のクエリ処理をはるかに超えて分散コンピューティングリソースを効果的に管理できることを示している。

ABSTRACT

This paper introduces the CondorJ2 cluster management system. Traditionally, cluster management systems such as Condor employ a process-oriented approach with little or no use of modern database system technology. In contrast, CondorJ2 employs a data-centric, 3-tier web-application architecture for all system functions (e.g., job submission, monitoring and scheduling; node configuration, monitoring and management, etc.) except for job execution. Employing a data-oriented approach allows the core challenge (i.e., managing and coordinating a large set of distributed computing resources) to be transformed from a relatively low-level systems problem into a more abstract, higher-level data management problem. Preliminary results suggest that CondorJ2's use of standard 3-tier software represents a significant step forward to the design and implementation of large clusters (1,000 to 10,000 nodes).

研究の動機と目的

• 大規模環境における従来のプロセス指向クラスタ管理システムの複雑さと脆さに対処すること。
• データ管理の原則とデータベース技術がシステムレベルのクラスタ調整に応用可能かどうかを検討すること。
• 低レベルのシステム操作をデータモデルに抽象化することで、クラスタ管理の保守性、拡張性、スケーラビリティを向上させること。
• 標準的な3層ウェブアプリケーションパターンとリレーショナルデータベースを、コアクラスタ管理機能に使用する可能性を評価すること。
• 構造化されたデータアクセスを通じて、より直感的な監視、スケジューリング、分散リソースの設定を可能にすること。

提案手法

• プレゼンテーション層、アプリケーション層、データ層を分離することでモジュラリティと保守性を高める3層ウェブアプリケーションアーキテクチャを採用すること。
• ジョブ送信、スケジューリング、ノード設定、監視といったすべてのクラスタ管理機能を、中央集権的なデータベースに格納されたリレーショナルデータとしてモデル化すること。
• クラスタ状態の管理と照会に標準的なSQL操作を用い、カスタムのシステムレベル論理を宣言的データ操作に置き換えること。
• ACIDトランザクション、インデックス、ビューなどの既存のデータベース機能を活用して、一貫性と効率的なデータアクセスを確保すること。
• ユーザーとの対話用にウェブベースのインターフェースを実装し、バックエンドロジックがすべてデータベーストランザクションを通じて調整を行うこと。
• ジョブ実行と管理ロジックを分離し、データ層が直接プロセス制御を行わず、リソースを調整できること。

実験結果

リサーチクエスチョン

• RQ1 データ指向のアプローチは、大規模クラスタ管理システムの設計と実装を顕著に簡素化できるか？
• RQ2 伝統的なデータベース技術が、分散コンピューティングリソースの管理において、低レベルのシステムプログラミングをどの程度代替できるか？
• RQ3 3層ウェブアーキテクチャを用いることで、クラスタ管理システムの保守性と拡張性はどの程度向上するか？
• RQ4 データベースをバックエンドに持つクラスタマネージャが、スケール（1,000〜10,000ノード）においてどのようなパフォーマンスとスケーラビリティ特性を示すか？
• RQ5 トランザクションやインデックスといった標準的なデータベース機能が、動的かつ並列なクラスタ状態の更新を効果的に管理できるか？

主な発見

• CondorJ2は、標準的なデータベース技術を用いて、クラスタ管理をシステムプログラミングの問題からデータ管理の問題に成功して変換した。
• 中央集権的なデータストアを備えた3層アーキテクチャを採用することで、システムのモジュラリティが向上し、開発とデバッグが簡素化された。
• 予備的な結果から、データベース駆動の調整が大規模クラスタに効果的にスケーリングでき、1,000〜10,000ノードをサポートすることが示された。
• システムは、標準SQL操作がジョブスケジューリングやノード監視といった複雑な調整タスクを管理できることを示した。
• システム状態をデータとして抽象化することで、従来のプロセスベースのアプローチに比べ、より洗練された照会、レポート作成、監視機能が可能になった。
• ジョブ実行と管理ロジックの分離により、信頼性が向上し、外部ツールや監視システムとの統合も容易になった。