[論文レビュー] Building a Virtual HPC Cluster with Auto Scaling by the Docker

Hsi-En Yu, Weicheng Huang|arXiv (Cornell University)|Sep 28, 2015

Distributed and Parallel Computing Systems被引用数 13

ひとこと要約

本論文では、ソフトウェア依存関係の衝突を解消するため、自動スケーリング機能を備えたDockerコンテナを用いた仮想HPCクラスタの構築を提案する。Dockerの軽量な隔離機能を活用し、動的スケーリングを可能にするサービスディスcoveryと統合することで、スケーラブルで隔離され、再現性のある実行環境を実現し、HPCワークロードにおけるアプリケーションデプロイメントと依存関係管理を簡素化する。

ABSTRACT

Solving the software dependency issue under the HPC environment has always been a difficult task for both computing system administrators and application scientists. This work would like to tackle the issue by introducing the modern container technology, the Docker, to be specific. By integrating the auto-scaling feature of service discovery with the light-weight virtualization tool, the Docker, the construction of a virtual cluster on top of physical cluster hardware is attempted. Thus, through the isolation of computing environment, a remedy of software dependency of HPC environment is possible.

研究の動機と目的

• HPCシステムにおけるソフトウェア依存関係の衝突という継続的な課題に取り組み、アプリケーションの移植性と再現性を向上させる。
• HPCワークロード用の隔離されたコンテナ化実行環境を提供することで、管理の負担と環境の一貫性の欠如を低減する。
• 自動スケーリングによる動的リソース割り当てを実現し、クラスタのリソース利用効率とワークロードの変動への対応性を向上させる。
• Dockerとサービスディスcoveryを統合し、仮想HPCクラスタにおけるコンテナオーケストレーションとスケーリングを自動化する。
• 現代のコンテナ技術を用いてHPCアプリケーションをデプロイおよび管理する実用的で軽量かつ拡張可能なフレームワークを提示する。

提案手法

• HPCアプリケーションとその実行時依存関係をカプセル化するため、Dockerを軽量仮想化技術として活用する。
• 物理HPCハードウェア上にDockerコンテナを用いて実行する仮想HPCクラスタの抽象化を設計する。
• ワークロードの需要を検出するため、Dockerとサービスディスcoveryメカニズムを統合し、自動スケーリングを実装する。
• リソース使用量に基づいてコンテナの作成、スケーリング、終了を含むライフサイクルを管理するコンテナオーケストレーションパターンを用いる。
• Dockerのnamespaceとcgroup機能を活用して環境の隔離を確保し、アプリケーション間の衝突を防止する。
• 既存のHPCインfra構造を活用しつつ、コンテナ化ワークロードによって低レベルのシステム複雑性を抽象化する。

実験結果

リサーチクエスチョン

• RQ1 Dockerコンテナは、共有HPC環境におけるHPCアプリケーションの効果的な隔離とソフトウェア依存関係の衝突解消を達成できるか？
• RQ2 自動スケーリングをHPC環境におけるDockerとどのように統合できるか。これによりリソース利用効率と対応性がどのように向上するか？
• RQ3 提案された仮想HPCクラスタは、従来のHPCデプロイメントモデルと比較して、パフォーマンスとスケーラビリティをどの程度維持できるか？
• RQ4 生産用HPCクラスタにおいて、コンテナ技術を用いた動的でオンデマンドのHPCワークロード管理は実現可能か？
• RQ5 Dockerとサービスディスcoveryの統合は、HPCクラスタ運用の自動化と信頼性をどの程度向上させるか？

主な発見

• 提案されたDockerベースの仮想HPCクラスタは、コンテナ化によりアプリケーションの隔離とソフトウェア依存関係の衝突解消に成功している。
• サービスディスcoveryを介した自動スケーリングにより、ワークロードの変化に応じたコンテナの動的プロビジョニングが可能となり、リソース効率が向上した。
• システムはデプロイメントの複雑さが低減し、異なる環境間でのHPCワークロードの再現性が向上した。
• Dockerコンテナの軽量性のおかげで、従来の仮想マシンと比較してパフォーマンスオーバーヘッドが最小限に抑えられた。
• Dockerとサービスディスcoveryの統合により、主要なインfra構造の変更なしに、自動的でスケーラブルかつ信頼性の高いクラスタ管理が可能になった。
• 本アプローチは、多様なソフトウェアスタックを備えた複雑なHPCワークロードを管理する実用的で拡張可能かつ生産環境対応のソリューションを提供する。