[論文レビュー] Installing, Running and Maintaining Large Linux Clusters at CERN

Vladímir Bahyl, Benjamin Chardi+5 more|ArXiv.org|Jun 12, 2003

Distributed and Parallel Computing Systems参考文献 2被引用数 3

ひとこと要約

本論文は、1,000台を超えるノードを有する大規模なLinuxクラスタの展開、管理、スケーリングのためのCERNの運用フレームワークを提示する。自動化、システム設定、監視、ワークロード管理にLSFを活用し、ハードウェアの非均一性、セキュリティ、OSのアップグレード、グリッド統合の解決策を詳細に説明している。EDGプロジェクトのWP4サブタスクと連携し、バッチおよびインタラクティブサービスの最適化によって、高いシステム利用率とユーザー応答性を実現した。

ABSTRACT

Having built up Linux clusters to more than 1000 nodes over the past five years, we already have practical experience confronting some of the LHC scale computing challenges: scalability, automation, hardware diversity, security, and rolling OS upgrades. This paper describes the tools and processes we have implemented, working in close collaboration with the EDG project [1], especially with the WP4 subtask, to improve the manageability of our clusters, in particular in the areas of system installation, configuration, and monitoring. In addition to the purely technical issues, providing shared interactive and batch services which can adapt to meet the diverse and changing requirements of our users is a significant challenge. We describe the developments and tuning that we have introduced on our LSF based systems to maximise both responsiveness to users and overall system utilisation. Finally, this paper will describe the problems we are facing in enlarging our heterogeneous Linux clusters, the progress we have made in dealing with the current issues and the steps we are taking to gridify the clusters

研究の動機と目的

• 大規模かつ非均一なLinuxクラスタをハイパフォーマンスコンピューティング環境で効果的に管理する課題に対処すること。
• インストール、設定、監視プロセスの自動化を通じて、システムの管理性を向上させること。
• ユーザーの動的ワークロード下でも、インタラクティブな応答性と高いバッチ利用率の両立を図るため、LSFベースのバッチおよびインタラクティブサービスを最適化すること。
• 多様なハードウェア上で、安全でスケーラブルかつ自動化されたOSアップグレード手順を生産環境で実現すること。
• EDGプロジェクトとの統合を通じて、LHC規模のコンピューティングワークロードをサポートするためのクラスタのグリッド化を推進すること。

提案手法

• 大規模なLinuxクラスタ向けにカスタマイズされた自動システムインストールおよび設定ツールの開発と導入。
• クラスタ管理機能とツールキットの強化を目的に、EDGプロジェクトのWP4サブタスクと統合した。
• ハードウェアの多様性に対応し、一貫性を確保するため、集中型の監視および設定管理を実装した。
• LSFスケジューリングポリシーおよびリソース割り当てを最適化し、インタラクティブユーザーの応答性と全体のシステムスループットを向上させた。
• システム安定性を維持し、ダウンタイムを低減するため、セキュアで自動化されたOSアップグレード手順を確立した。
• EDGミドルウェアスタックのコンponentsと統合することで、グリッドコンピューティングへの拡張を実現した。

実験結果

リサーチクエスチョン

• RQ1 非均一な環境下で、大規模なLinuxクラスタを効率的にスケールしてインストール・設定・保守することはどのように可能か？
• RQ2 1,000台以上のノードにわたり、高可用性、セキュリティ、自動OSアップグレードを実現するためのシステム管理技術は何か？
• RQ3 動的ユーザーワークロード下で、LSFベースのクラスタがインタラクティブな応答性と高いバッチ利用率の両立をどのように達成できるか？
• RQ4 大規模クラスタを広域グリッドコンピューティングインfraに統合するための効果的な戦略は何か？
• RQ5 外部プロジェクト（例：EDG WP4）との連携が、クラスタ管理性の向上に果たす役割は何か？

主な発見

• 自動化ツールを用いて1,000台を超えるノードを有するLinuxクラスタを効果的に管理し、人的な設定作業と運用負荷を顕著に削減した。
• LSFのチューニングにより、インタラクティブユーザーの応答性が向上した一方で、クラスタ全体の利用率も高い水準を維持した。
• 集中型の設定および監視により、多様なハードウェアプラットフォーム間で一貫した管理が可能になった。
• 最小限のダウンタイムで、自動化されたOSアップグレード手順が実装され、継続的なシステムメンテナンスを可能にした。
• EDGプロジェクトのWP4サブタスクとの連携により、ツールキットの強化とクラスタ管理性の向上が達成された。
• クラスタインfraはグリッド統合に向けて拡張され、LHCコンピューティングワークフローとの相互運用性が実現した。