[論文レビュー] Themis: Fair and Efficient GPU Cluster Scheduling
Themis は、実行時間の公平性（finish-time fairness）という長期的公平性指標を導入することで、機械学習ワークロード向けの公平かつ効率的な GPU クラスタースケジューリングを提案する。この指標により、各 ML 応用プログラムが専用クラスタで実行している場合と同等の時間で完了することが保証される。2段階のオークションベースのスケジューリングアーキテクチャを採用し、アプリケーションが GPU リソースを入札し、配置の好みを示すことで、短期的な効率性と長期的な公平性を両立させる。部分的割り当てオークションにより、真実の入札を促進する設計となっている。
Modern distributed machine learning (ML) training workloads benefit significantly from leveraging GPUs. However, significant contention ensues when multiple such workloads are run atop a shared cluster of GPUs. A key question is how to fairly apportion GPUs across workloads. We find that established cluster scheduling disciplines are a poor fit because of ML workloads' unique attributes: ML jobs have long-running tasks that need to be gang-scheduled, and their performance is sensitive to tasks' relative placement. We propose Themis, a new scheduling framework for ML training workloads. It's GPU allocation policy enforces that ML workloads complete in a finish-time fair manner, a new notion we introduce. To capture placement sensitivity and ensure efficiency, Themis uses a two-level scheduling architecture where ML workloads bid on available resources that are offered in an auction run by a central arbiter. Our auction design allocates GPUs to winning bids by trading off efficiency for fairness in the short term but ensuring finish-time fairness in the long term. Our evaluation on a production trace shows that Themis can improve fairness by more than 2.25X and is ~5% to 250% more cluster efficient in comparison to state-of-the-art schedulers.
研究の動機と目的
- 長期間にわたる、ギャングスケジューリングを伴い、配置感受性を持つ ML ワークロードを処理する際、従来のクラスタースケジューラ（例：DRF、Quincy）の不十分さに対処すること。
- 各 ML 応用プログラムがクラスタの 1/N を専用で使用している場合と同等の性能を発揮することを保証する、新しい長期的公平性指標「実行時間の公平性」を導入すること。
- 配置の好みを尊重しつつ、短期的効率性と長期的公平性を両立させるスケジューリングフレームワークを設計すること。
- 真実の入札を促進するオークションメカニズムにより、資源割り当てにおけるパレート効率性と envy-free（他者に羨ましがられない状態）を保証すること。
- 中央集権的な仲裁者とアプリケーションレベルの入札ラウンドを備えた2段階スケジューリングアーキテクチャにより、実用的導入を可能にすること。
提案手法
- リース期限の到着に伴い、1ラウンドごとのオークションメカニズムを発動し、アプリケーションが予想される実行時間の公平性に基づいて利用可能な GPU リソースに入札する。
- 部分的割り当てオークションを用いることで、真実の入札、パレート効率性、 envy-free を設計上保証する。隠し支払いの仕組みにより、戦略的虚偽報告を抑制する。
- 異なる GPU 組み合わせにおける期待性能を反映する入札価格を用いて、アプリケーションが配置の好み（例：密着配置やスカイレット配置）を表現できるようにする。
- 2段階のスケジューリングアーキテクチャを実装する：中央集権的なアプリ間スケジューラ（仲裁者）と、リースベースのタスク実行を管理するアプリケーション内スケジューラ。
- 公平性ノブ f に基づいて、実行時間の公平性が最も悪いアプリケーションをフィルタリングし、特に必要度の高いアプリケーションを優先することで、全体の公平性を向上させる。
- 10 分がデフォルトのリースベースのスケジューリングを採用し、チェックポイントとリソース再割り当てを可能にしつつ、オーバーヘッドを最小限に抑える。
実験結果
リサーチクエスチョン
- RQ1長期間にわたる、ギャングスケジューリングを伴い、配置感受性を持つ ML ワークロードに対して、公平性を意味的に定義することは可能か？
- RQ2配置感受性を保ったまま、短期的効率性と長期的公平性を両立させることができるスケジューリングシステムは存在するか？
- RQ3ML ワークロード向けの動的で複数ラウンドにわたる GPU オークションにおいて、真実の入札をどのように促進できるか？
- RQ4リース期間と公平性ノブのチューニングが、公平性とクラスタ利用率に与える影響は何か？
- RQ5提案されたオークションメカニズムは、最先端のスケジューラーよりも公平性と効率性の両面で優れているとまでは言えるか？
主な発見
- Themis は生産環境トレース上、最先端のスケジューラーよりも 2.25 倍以上の公平性向上を達成した。
- ワークロードの特性に応じて、Themis は既存のスケジューラーよりも 5% から 250% の高いクラスタ効率性を達成した。
- 部分的割り当てオークションメカニズムは、嘘をついた戦略が常に利益をもたらさないことを実証した。嘘をついた場合、最大で X ≤ 34% の利益を得られるが、それ以上に嘘をついた場合、著しいリソース損失を被る。
- 公平性ノブ f = 0.8 とリース時間 = 10 分が、公平性と効率性の最良のトレードオフを提供した。f = 1.0 の場合、入札競争が減少するため、性能劣化を回避できた。
- リース時間の短縮はキューイング遅延を減少させ、公平性を向上させる。一方、リース値を高く設定することで、チェックポイントの頻度が低下し、効率性が向上する。
- システムは設計上、パレート効率性と envy-free を維持しており、他のアプリケーションに損害を与えることなく、1 つのアプリケーションが自身の結果を改善することは不可能である。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。