[論文レビュー] Containers Orchestration with Cost-Efficient Autoscaling in Cloud Computing Environments

Maria A. Rodriguez, Rajkumar Buyya|arXiv (Cornell University)|Dec 2, 2018

Cloud Computing and Resource Management被引用数 10

ひとこと要約

本論文は、Kubernetes用のプラグインスケジューラを用いて、動的スケーリングと最適なコンテナ配置を実現する、コスト効率の高いクラウド環境向けコンテナオーケストレーションフレームワークを提案する。ワークロードに応じた自動スケーリングとランタイム再スケジューリングを組み合わせることで、実際のクラウドインfra構成上、Kubernetesのデフォルトスケジューラと比較してインfraコストを58%削減した。

ABSTRACT

Containers are standalone, self-contained units that package software and its dependencies together. They offer lightweight performance isolation, fast and flexible deployment, and fine-grained resource sharing. They have gained popularity in better application management and deployment in recent years and are being widely used by organizations to deploy their increasingly diverse workloads such as web services, big data, and IoT in either proprietary clusters or cloud data centres. This has led to the emergence of container orchestration platforms, which are designed to manage the deployment of containerized applications in large-scale clusters. The majority of these platforms are tailored to optimize the scheduling of containers on a fixed-sized private cluster but are not enabled to autoscale the size of the cluster nor to consider features specific to public cloud environments. In this work, we propose a comprehensive container resource management approach that has three different objectives. The first one is to optimize the initial placement of containers by efficiently scheduling them on existing resources. The second one is to autoscale the number of resources at runtime based on the current cluster's workload. The third one is a rescheduling mechanism to further support the efficient use of resources by consolidating applications into fewer VMs when possible. Our algorithms are implemented as a plugin-scheduler for Kubernetes platform. We evaluated our framework and the effectiveness of the proposed algorithms on an Australian national cloud infrastructure. Our experiments demonstrate that considerable cost savings can be achieved by dynamically managing the cluster size and placement of applications. We find that our proposed approaches are capable of reducing the cost by 58% when compared to the default Kubernetes scheduler.

研究の動機と目的

• 既存のコンテナオーケストレーションプラットフォームに、コストを考慮した自動スケーリングとクラウドネイティブ最適化が欠如しているというギャップを埋める。
• クラウドクラスタ内の利用可能な仮想マシンに知的にコンテナをスケジューリングすることで、リソース利用効率を向上させる。
• リアルタイムのワークロード需要に応じてクラスタサイズを動的にスケーリング可能にする。
• アプリケーションをより少ないVMに統合するランタイム再スケジューリングにより、運用コストを削減する。
• コストを考慮したスケジューリングと自動スケーリングを統合したKubernetes用のプラグインスケジューラの実装と評価

提案手法

• デフォルトスケジューラにコストを考慮した配置論理を拡張する、Kubernetes用のプラグインスケジューラの設計。
• リアルタイムのCPU、メモリ、ネットワーク使用状況のメトリクス収集を目的としたワークロード監視モジュールの実装。
• 履歴的および現在のワークロードトレンドに基づいて、VM数を増減させる自動スケーリングアルゴリズムの開発。
• 未利用状態のVMを特定し、コンテナを移行することでワークロードを統合する再スケジューリングメカニズムの導入。
• 変動するクラウド料金とVMプロビジョニングコストを考慮したコストモデルを導入し、スケジューリングとスケーリング意思決定を支援。
• 実際のワークロードを用いたオーストラリア国立クラウドインfra構成上でフレームワークを評価。

実験結果

リサーチクエスチョン

• RQ1 パブリッククラウド環境において、どのようにコンテナオーケストレーションを強化して動的自動スケーリングを実現できるか？
• RQ2 知的なコンテナ配置とクラスタ自動スケーリングを組み合わせることで、どの程度のコスト削減が達成できるか？
• RQ3 ランタイム再スケジューリングは、ワークロードの統合とVMフットプリントの削減において、どの程度効果的か？
• RQ4 提案されたスケジューラは、Kubernetesのデフォルトスケジューラと比較して、パフォーマンスとコストにどのような影響を与えるか？
• RQ5 大規模クラウドデプロイメントにおいて、サービス品質を維持しながらインfraコストを最小限に抑えることができるか？

主な発見

• 提案されたフレームワークは、実際のクラウドインfra構成上、Kubernetesのデフォルトスケジューラと比較して58%のインfraコスト削減を達成した。
• 自動スケーリング機構は、ワークロードの変動に応じてクラスタサイズを適切に調整し、過剰プロビジョニングを回避した。
• 再スケジューリングモジュールは、アプリケーションをより少ないVMに統合し、リソース利用効率を向上させるとともに、無駄な容量を削減した。
• プラグインスケジューラは、多様なワークロードにおいて低スケジューリング遅延と高い配置効率を維持した。
• フレームワークは、本番環境に準拠したクラウド環境でも、強力なスケーラビリティと適応性を示した。
• 変動的かつバースト型のワークロード下で、特にコスト削減の効果が顕著であり、動的リソース管理の価値が浮き彫りになった。