[論文レビュー] Characterizing Co-located Datacenter Workloads: An Alibaba Case Study

Yue Cheng, Zheng Chai+1 more|arXiv (Cornell University)|Aug 8, 2018

Cloud Computing and Resource Management参考文献 35被引用数 4

ひとこと要約

この論文は、アリババが公開した共同配置データセンターワークロードトレースを分析し、1,313台のマシンを対象に、長時間実行されるコンテナ化された本番ジョブと一時的なバッチジョブの間の相互作用を特徴づけている。スローガー問題やリソースの過剰コミットメントといった持続的な問題が明らかになった一方で、高利用率下でのパフォーマンス干渉や、異種クラスタにおける共同配置を最適化するためのより統合的なグローバルスケジューラの必要性も強調している。

ABSTRACT

Warehouse-scale cloud datacenters co-locate workloads with different and often complementary characteristics for improved resource utilization. To better understand the challenges in managing such intricate, heterogeneous workloads while providing quality-assured resource orchestration and user experience, we analyze Alibaba's co-located workload trace, the first publicly available dataset with precise information about the category of each job. Two types of workload---long-running, user-facing, containerized production jobs, and transient, highly dynamic, non-containerized, and non-production batch jobs---are running on a shared cluster of 1313 machines. Our multifaceted analysis reveals insights that we believe are useful for system designers and IT practitioners working on cluster management systems.

研究の動機と目的

• 実世界のウェアハウススケールデータセンターにおける、長時間実行されるコンテナ化ジョブと一時的なバッチジョブの間の複雑な相互作用およびリソースダイナミクスを理解すること。
• 共同配置環境におけるスローガー行動やリソース予測の不正確さといった持続的課題を同定すること。
• 高利用率およびワークロードの多様性に起因するリソース競合とパフォーマンス干渉の影響を評価すること。
• 既存のスケジューラ（SigmaおよびFuxi）が共同配置ワークロードを管理する効果性を評価し、連携におけるギャップを同定すること。
• 効率的で共同配置最適化されたクラスタ管理を実現するためのアーキテクチャ的改善を、システム設計者およびIT実務家に示すこと。

提案手法

• アリババの本番クラスタから入手可能な24時間分のトレースを分析し、1,313台のマシンに対して正確なジョブカテゴリーラベルを含む。
• リソース使用状況と利用状況のパターンを比較するため、クラスタを「バッチ専用」と「共同配置」の領域に分割する。
• CPUおよびメモリ使用率、CPI、MPKIを、さまざまなリソース使用範囲で測定し、パフォーマンス干渉を検出する。
• リソースリクエスト、リザーブ、実際の使用状況のパターンを分析し、オーバーブッキング、過剰プロビジョニング、過剰コミットメントの行動を同定する。
• ワークロードの動的変化、スローガー頻度、長時間実行ジョブとバッチワークロード間の干渉を評価する。
• グローバルレベル0コントローラーが、共同配置ワークロードによって引き起こされるリソースの非均一性を露呈させることで、スケジューラ間の連携を図るべきであると提言する。

実験結果

リサーチクエスチョン

• RQ1 共同配置クラスタにおける、長時間実行ジョブと一時的バッチジョブのリソース使用パターンは、どのように異なるか？
• RQ2 現代の共同配置データセンター環境において、パフォーマンス干渉およびスローガー問題はどの程度持続的か？
• RQ3 『バッチ専用』領域と『共同配置』領域におけるリソース使用率はどのように比較されるか？これはスケジューラの認識度に何を示唆するか？
• RQ4 CPUおよびメモリ使用率が高くなると、CPIやMPKIといったパフォーマンス指標にどのような影響を与えるか？
• RQ5 グローバルコントローラーは、二段階のクラスタ管理システムにおけるワークロード固有スケジューラ間の連携をどのように改善できるか？

主な発見

• 長時間実行ジョブはよりメモリ集約的であり、CPU使用率よりも高い全体的なクラスタメモリ使用率を引き起こしている。
• 長時間実行ジョブに対する過剰プロビジョニングにより、バッチジョブが未使用リソースを弾力的にコミットする大きな余地が生まれている。
• スケジューリング技術の進歩にもかかわらず、バッチジョブにおけるスローガー問題は依然として持続しており、予測とリソース管理における継続的な課題を示している。
• 高リソース使用率下ではパフォーマンス干渉が顕著に増大する：最大CPIおよびMPKIは、CPU使用率40％以上、メモリ使用率80％以上でピークに達する。
• Fuxi（バッチスケジューラ）は、リソースプールが均一であると仮定しており、共同配置による長時間実行ジョブに起因する非均一性を考慮に入れていない。
• Sigma（長時間実行）とFuxi（バッチ）スケジューラ間の連携の欠如は、共同配置に配慮したより統合的なグローバルコントローラーの導入の必要性を示唆している。