[論文レビュー] MultiCloud Resource Management using Apache Mesos with Apache Airavata

Pankaj Saha, Madhusudhan Govindaraju+2 more|arXiv (Cornell University)|Jan 1, 2016

Cloud Computing and Resource Management被引用数 4

ひとこと要約

本稿では、複数のクラウドにおけるリソース管理を統一するため、Apache Mesosを活用したメタスケジューラを提案する。このアプローチにより、パブリックIPを持たないVMに対してもNATベースの可視性を提供し、スケジューリングが可能になる。研究者が多数の小さなジョブを提出する場合に、効率的なワークロードリダイレクトを実現し、リソース利用効率とクロスクラウド連携を向上させる。

ABSTRACT

We discuss initial results and our planned approach for incorporating Apache Mesos based resource management that will enable design and development of scheduling strategies for Apache Airavata jobs so that they can be launched on multiple clouds, wherein several VMs do not have Public IP addresses. We present initial work and next steps on the design of a meta-scheduler for Apache Airavata, which uses Apache Mesos to present a unified view of resources available across several clouds and clusters. This meta-scheduler can potentially examine and identify the cases where multiple small jobs have been submitted by the same scientists and then redirect job from the same community account or user to different clusters. Our approach uses a NAT firewall to make cloud VMs, without a Public IP, visible to Mesos for the unified view.

研究の動機と目的

• パブリックIPを持たないVMを有する複数のクラウド環境における計算ワークロードの管理課題に対処すること。
• 異種のクラウドおよびクラスターリソースを統合し、単一で管理可能なリソースプールとして統一するメタスケジューラの設計。
• 同じユーザーまたはコミュニティが多数の小さなジョブを提出する場合のスケジューリング効率を向上させるために、ジョブの識別と最適なクラスタへのリダイレクトを実現すること。
• NATファイアウォールを介してMesosに公開することで、プライベートまたは隔離されたクラウドVMでもシームレスなジョブ実行を可能にすること。

提案手法

• 複数のクラウドプロバイダーおよびオンプレミスクラスタにまたがるApache Mesosを、集中型リソース管理レイヤーとして統合する。
• NATファイアウォールを用いて、パブリックIPを持たないVMをMesosに公開し、統一されたリソースプールの一部として発見・管理可能にする。
• Apache Airavataにメタスケジューラを実装し、ジョブ提出パターンとワークロード特性を監視する。
• 同じユーザーまたはコミュニティからのジョブをグループ化し、異なるクラスタにリダイレクトするスケジューリングポリシーを適用し、リソース競合を低減する。
• Mesosのフレームワーク抽象化を活用して、異種環境間での動的ジョブ起動およびリソース割り当てを実現する。
• 将来的な拡張性を考慮し、パフォーマンス、コスト、またはデータローカリティに基づく高度なスケジューリング戦略に対応できるようにシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 パブリックIPを持たないVMを、統一されたクラウドリソース管理システムに効果的に統合する方法は何か？
• RQ2 同じユーザーまたはコミュニティが多数の小さなジョブを提出する場合、効率を向上させるためにどのようなスケジューリング戦略が有効か？
• RQ3 Apache Mesosを用いて、異種のクラウドおよびクラスターリソースを抽象化・統合し、科学的ワークフローに適した形で統一する方法は何か？
• RQ4 スケーラブルかつ安全なジョブリダイレクトを複数のクラウド環境にまたがって実現するためのアーキテクチャパターンは何か？
• RQ5 NATベースの可視性は、プライベートまたは隔離されたクラウドVMにMesosを拡張するうえで、果たす役割は何か？

主な発見

• メタスケジューラにより、複数プロバイダーのクラウドおよびクラスターリソースへのアクセスが統一され、集中管理によるジョブ管理が可能になった。
• NATファイアウォールを介して、パブリックIPを持たないVMがMesosに効果的に公開され、利用可能なコンピューティングリソースのプールが拡大された。
• 多数の小さなジョブを提出するユーザーに対するイン telligentなジョブリダイレクトが実現され、クラスタの混雑状態が軽減され、リソース利用効率が向上した。
• Apache MesosとAiravataの統合により、拡張可能なスケジューリングポリシーを備えた、スケーラブルなマルチクラウドジョブスケジューリング基盤が提供された。
• ワークロードパターンに基づくコスト感受性やレイテンシ感受性のスケジューリングなど、将来的な拡張機能をサポートする。