[論文レビュー] POLCA: Power Oversubscription in LLM Cloud Providers

Pratyush Patel, Esha Choukse+5 more|arXiv (Cornell University)|Aug 24, 2023

Ferroelectric and Negative Capacitance Devices被引用数 5

ひとこと要約

POLCAは、位相に応じた周波数スケーリングと二重の電力しきい値を活用することで、信頼性の高い電力過小割り当てを実現する堅牢なフレームワークであり、信頼性の低い帯外GPU電力制御を伴う状況でも、パフォーマンスへの影響を最小限に抑えながら、サーバー密度を30%まで向上できる。

ABSTRACT

Recent innovation in large language models (LLMs), and their myriad use-cases have rapidly driven up the compute capacity demand for datacenter GPUs. Several cloud providers and other enterprises have made substantial plans of growth in their datacenters to support these new workloads. One of the key bottleneck resources in datacenters is power, and given the increasing model sizes of LLMs, they are becoming increasingly power intensive. In this paper, we show that there is a significant opportunity to oversubscribe power in LLM clusters. Power oversubscription improves the power efficiency of these datacenters, allowing more deployable servers per datacenter, and reduces the deployment time, since building new datacenters is slow. We extensively characterize the power consumption patterns of a variety of LLMs and their configurations. We identify the differences between the inference and training power consumption patterns. Based on our analysis of these LLMs, we claim that the average and peak power utilization in LLM clusters for inference should not be very high. Our deductions align with the data from production LLM clusters, revealing that inference workloads offer substantial headroom for power oversubscription. However, the stringent set of telemetry and controls that GPUs offer in a virtualized environment, makes it challenging to have a reliable and robust power oversubscription mechanism. We propose POLCA, our framework for power oversubscription that is robust, reliable, and readily deployable for GPU clusters. Using open-source models to replicate the power patterns observed in production, we simulate POLCA and demonstrate that we can deploy 30% more servers in the same GPU cluster for inference, with minimal performance loss

研究の動機と目的

• 大規模言語モデル（LLMs）の需要増加に伴い、データセンタで深刻化するGPU容量不足の問題に対処すること。
• 高水準のサーバー単位の電力利用率にもかかわらず、LLM推論クラスタに未利用の電力余剰が存在することを特定すること。
• 信頼性の低い遅延の大きい帯外GPU電力管理インタフェースに対しても動作可能な、スケーラブルで信頼性の高い電力過小割り当てメカニズムを設計すること。
• マルチテナントGPUクラスタにおいて、サービスレベルオブジェクティブ（SLO）を満たさずに安全に電力過小割り当てを実装できること。
• LLM推論に対して電力過小割り当てが実現可能で有益であることを実証し、パフォーマンスへの影響を最小限に抑えること。

提案手法

• 推論およびトレーニングフェーズにおけるさまざまなLLMの電力消費パターンを分析し、プロンプトフェーズとトークンフェーズの明確な差を同定する。
• オープンソースモデルを用いて、実際のLLMクラスタの電力パターンを再現し、シミュレーションベースの評価を実施する。
• 二重しきい値電力制御メカニズムを実装：クラスタレベルの電力使用状況に基づく低優先度のスロットリングを実施し、ピーク利用時にハードウェアのパワーブレーキをフェイルセーフとして備える。
• 位相に応じた周波数スケーリングを適用：計算負荷が低いトークンフェーズ中にGPU周波数を低下させることで、平均電力消費量を低減する。
• 既存のクラスタレベル電力マネージャーと統合することで、本番環境へのスムーズな導入を可能にする。
• 遅延が大きく非標準的な帯外管理を補完するため、インバンドGPU制御インターフェースを活用し、応答性と信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 高水準のサーバー単位の電力利用率にもかかわらず、LLM推論クラスタにはどの程度未利用の電力余剰が存在するのか？
• RQ2 GPU周波数スケーリングと電力キャップは、LLM推論ワークロードのピーク電力消費量をどの程度低減できるのか？
• RQ3 信頼性の低い帯外電力管理インタフェースを有するGPUクラスタにおいて、電力過小割り当てを安全かつ信頼性高く実装できるのか？
• RQ4 電力スロットリングがLLM推論ワークロードに与えるパフォーマンスへの影響は何か？ そして、その影響をどのように最小限に抑えることができるか？
• RQ5 SLOを超過せずに、電力過小割り当てによって既存のクラスタでどの程度サーバー容量を増加できるのか？

主な発見

• LLM推論クラスタは、割り当てられた電力の最大80%しか使用していないため、電力過小割り当てに向けた顕著な余剰が存在する。
• トレーニングクラスタは、大規模なトレーニングジョブにおける同期的な電力ピークのため、わずか10%程度の余剰しか持たない。
• 位相に応じた周波数スケーリング（計算負荷が低いトークンフェーズでGPU周波数を低下）により、平均電力消費量を顕著に低減できる。
• POLCAにより、LLM推論ワークロードのクラスタあたりのデプロイ可能サーバー数を30%増加できるが、パフォーマンス劣化は最小限に抑えられる。
• 二重しきい値電力制御メカニズムにより、安全かつ信頼性が確保され、ハードウェアのパワーブレーキが最終手段のフェイルセーフとして機能する。
• このフレームワークは、進化するLLMアーキテクチャに対しても耐性があり、同様の電力節約効果を得られるよう、トレーニングおよびマルチモーダルワークロードへの拡張も可能である。