[論文レビュー] Themis: Fair and Efficient GPU Cluster Scheduling for Machine Learning Workloads

Kshiteej Mahajan, Arjun Singhvi+7 more|arXiv (Cornell University)|Jul 2, 2019

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

Themis は、GPU 割り当てを動的オークションとしてモデル化し、公平性と効率性のトレードオフに基づいて入札を優先することで、完了時間の公平性を保証する、機械学習ワークロード向けの新しい GPU クラスタースケジューリングフレームワークです。2段階のオークションベースの割り当てシステムにより、最新のスケジューラーよりも高いクラスタ利用率と改善された公平性を達成しています。

ABSTRACT

Modern distributed machine learning (ML) training workloads benefit significantly from leveraging GPUs. However, significant contention ensues when multiple such workloads are run atop a shared cluster of GPUs. A key question is how to fairly apportion GPUs across workloads while ensuring overall cluster efficiency. We find that established cluster scheduling disciplines that provide instantaneous fair share of resources are a poor fit because of ML workloads' unique attributes. ML jobs are typically long running, have coarse grained tasks that need to be gang-scheduled, and their performance is sensitive to tasks' relative placement. These properties cannot be captured by existing fair sharing schemes. We propose Themis, a new scheduling framework for ML training workloads. It's GPU allocation policy enforces that ML workloads complete in a finish-time fair manner, a new notion we introduce. To capture placement sensitivity and ensure efficiency, Themis uses a two-level scheduling architecture where ML workloads bid on available resources that are offered in an auction run by a central arbiter. Our auction design allocates GPUs to winning bids by trading off efficiency for fairness in the short term but compensating for finish-time fairness in the long term. Our evaluation on a number of machine learning models shows that Themis can ensure greater fairness while providing more efficient allocations compared to state-of-the-art schedulers.

研究の動機と目的

• 長時間実行される、ギャングスケジューリングを要する機械学習ワークロードにおける、従来のフェアシェアスケジューリングの限界を解消すること。
• 機械学習学習における配置感受性とタスクの共配置要件を考慮したスケジューリングフレームワークを設計すること。
• リソース割り当てに比例して完了する「完了時間の公平性」を達成するとともに、高いクラスタ効率性を維持すること。
• リソース入札と集中管理の分離を図る2段階のスケジューリングアーキテクチャを設計し、大規模クラスタにスケーラブルに拡張できること。
• 実際の機械学習ワークロードを用いて最新のスケジューラーと比較し、公平性と効率性の向上を定量的に評価すること。

提案手法

• Themis は、ワークロードがリソース割当に比例して完了するよう保証する「完了時間の公平性」という新しい公平性指標を導入している。
• 2段階のスケジューリングアーキテクチャを採用：各ノードにローカルスケジューラが配置され、機械学習ジョブからの入札を集める。中央の仲裁者がオークションを実行して GPU を割り当てる。
• オークションメカニズムは、緊急度、公平性、効率性のバランスを取った複合スコアに基づいて入札を優先し、短期的な効率性の向上は長期的な公平性補償で相殺される。
• GPU 割当の意思決定は、ジョブがリソース要件と優先度を反映した入札を提出する動的入札システムを用いて行われる。
• ジョブに必要なすべての GPU が同時に割り当てられるようにすることで、配置感受性を保証するギャングスケジューリングを実装している。
• 過去のパフォーマンスと公平性指標に基づいて、将来の入札をフィードバックループで調整することで、長期的なバランスを維持している。

実験結果

リサーチクエスチョン

• RQ1 共有 GPU クラスタにおける機械学習ワークロードに対して、クラスタ効率性を損なわずに完了時間の公平性を達成できるスケジューリングフレームワークは構築可能か？
• RQ2 配置感受性とギャングスケジューリング制約は、公平かつ効率的な GPU スケジューラーの設計にどのように影響するか？
• RQ3 オークションベースのメカニズムは、機械学習クラスタースケジューリングにおいて、短期的な効率性と長期的な公平性のバランスをどの程度達成できるか？
• RQ4 提案された2段階アーキテクチャは、大規模 GPU クラスタにおいてスケーラブルかつ応答性を維持できるか？
• RQ5 公平性とリソース利用率という観点から、Themis は既存のスケジューラーよりもどの程度のパフォーマンス向上を達成できるか？

主な発見

• Themis は、最新のスケジューラーよりも顕著に高い完了時間の公平性を達成しており、ワークロードがリソース割当に比例して完了することを保証している。
• 動的入札により、GPU の空き時間の削減と需要と供給のより良い一致を実現することで、クラスタ効率性が向上している。
• ギャングスケジューリングを強制することで、配置と共配置に感受性の高い機械学習ワークロードの高いパフォーマンスを維持している。
• オークションベースの割当メカニズムにより、短期的な効率性の向上が可能であり、同時に長期的な公平性のずれを補償することで、長期的なバランスを確保している。
• 多様な機械学習モデルを用いた評価では、複数のベンチマークシナリオにおいて、公平性と利用率の両面で既存のスケジューラーよりも Themis が優れたパフォーマンスを示している。