[論文レビュー] Scylla: A Mesos Framework for Container Based MPI Jobs

Pankaj Saha, Angel Beltre+1 more|arXiv (Cornell University)|Jan 1, 2019

Cloud Computing and Resource Management参考文献 10被引用数 10

ひとこと要約

Scyllaは、Apache MesosとDocker Swarmを統合することで、クラウドベースのHPCクラスタ上でコンテナ化されたMPIジョブを効率的にオーケストレーションできるMesosフレームワークです。CPU、メモリ、ネットワーク要件に基づくポリシー駆動型スケジューリングを活用し、VM間でコンテナを共通スケジューリングすることでリソース競合とネットワークオーバーヘッドを最小限に抑え、CPU/メモリ集約的およびネットワーク集約的なMPIワークロードの両方のパフォーマンスを向上させます。

ABSTRACT

Open source cloud technologies provide a wide range of support forcreating customized compute node clusters to schedule tasks andmanaging resources. In cloud infrastructures such asJetstream and Chameleon, which are used for scientific research, usersreceive complete control of the Virtual Machines (VM) that are allocated tothem. Importantly, users get root access to the VMs. This provides anopportunity for HPC users to experiment with new resource managementtechnologies such as Apache Mesos that have proven scalability,flexibility, and fault tolerance. To ease the development anddeployment of HPC tools on the cloud, the containerization technologyhas matured and is gaining interest in the scientific community. Inparticular, several well known scientific code bases now have publiclyavailable Docker containers. While Mesos provides support for Dockercontainers to execute individually, it does not provide support forcontainer inter-communication or orchestration of the containers for aparallel or distributed application. In this paper, we present thedesign, implementation, and performance analysis of a Mesos framework,{\it Scylla}, which integrates Mesos with Docker Swarm to enableorchestration of MPI jobs on a cluster of VMs acquired from theChameleon cloud\cite{ChameleonCloud}. Scylla uses Docker Swarm for communication betweencontainerized tasks (MPI processes) and Apache Mesos for resourcepooling and allocation. Scylla allows a policy driven approach todetermine how the containers should be distributed across the nodesdepending on the CPU, memory, and network throughput requirement foreach application.

研究の動機と目的

• 科学的ワークロード向けに、Apache MesosがネイティブにMPIおよびコンテナ間通信をサポートしていないという点を解決すること。
• クラウド環境（例：Chameleon）におけるVM間でDocker化されたMPIプロセスの効率的かつ共通スケジューリングと分散を可能にすること。
• アプリケーション固有のリソース要件（CPU、メモリ、ネットワーク）に基づいてコンテナ配置を最適化するポリシー駆動型のアプローチを提供すること。
• Mesosのリソースプール機能とDocker Swarmのコンテナネットワーキングおよびオーケストレーションを組み合わせることで、リソース利用効率とアプリケーションスループットを向上させること。
• 異なるスケジューリングポリシーとワークロード下でのコンテナ化MPIジョブのパフォーランスを評価すること。

提案手法

• Scyllaは、VM間でのリソース割り当てとスケジューリングにMesosを使用するMesosフレームワークとして実装されています。
• MPIプロセスのコンテナネットワーキングとプロセス間通信を管理する基盤オーケストレータとして、Docker Swarmを活用しています。
• フレームワークは、CPU、メモリ、ネットワーク要件を分析して、ノード間での最適なコンテナ配置を決定するポリシー駆動型スケジューラを使用しています。
• Mesosのリソースオファーはドミナントリソースフェアネス（DRF）を用いて交渉され、Docker Swarmはコンテナライフサイクルとオーバーレイネットワーキングを担当しています。
• ノード間の通信オーバーヘッドを低減するため、同じノード上に複数のコンテナを共通スケジューリングする仕組みを提供しています。
• ユーザーがVMにrootアクセスを持ち、カスタムリソース管理スタックをデプロイ可能なクラウドインfraストラクチャ（例：Chameleon）と統合しています。

実験結果

リサーチクエスチョン

• RQ1 クラウドネイティブなリソースマネージャー（例：Apache Mesos）を用いて、コンテナ化環境におけるMPIワークロードをどのように効率的にオーケストレートできるか。
• RQ2 分散MPIジョブにおけるコンテナ間通信およびリソース競合によるパフォーマンス劣化を最小限に抑えるスケジューリングポリシーは何か。
• RQ3 MesosとDocker Swarmの統合が、CPU集約的、メモリ集約的、ネットワーク集約的なMPIアプリケーションのパフォーマンスにどのように影響するか。
• RQ4 ポリシー駆動型コンテナ配置が、クラウドベースのHPCクラスタにおけるリソース利用効率とアプリケーションスループットをどの程度向上させるか。
• RQ5 同じノード上にコンテナを共存させるのと複数ノードに分散させるのとで、パフォーマンス上のトレードオフはどのようなものか。

主な発見

• Scyllaは、Mesosによるリソース管理とDocker Swarmによるコンテナ間ネットワーキングを組み合わせることで、コンテナ化されたMPIジョブのエンドツーエンドオーケストレーションを成功裏に実現しました。
• ポリシー駆動型スケジューリングは、アプリケーションの特性に応じたコンテナ配置により、パフォーマンスを顕著に向上させました。ネットワーク集約的ジョブは近接配置され、CPU/メモリ集約的ワークロードではリソース競合を回避しました。
• ネットワーク集約的MPIアプリケーションでは、同じノード上にコンテナを共存させることで通信オーバーヘッドが低減し、スループットが向上しました。
• CPUおよびメモリ集約的ワークロードでは、ノード間でコンテナを分散させることでリソース競合が軽減され、共存配置よりも実行時間が短縮されました。
• MesosとDocker Swarmの統合により、効率的な共通スケジューリングが実現し、リソース利用効率が向上し、アイドル時間が減少しました。
• パフォーマンス評価の結果、Docker Swarmにおける仮想ネットワーク通信は最小限のオーバーヘッドしか発生せず、しかしネットワークバウンドなアプリケーションはノード間通信遅延に敏感であることが明らかになりました。