[论文解读] POLCA: Power Oversubscription in LLM Cloud Providers

Pratyush Patel, Esha Choukse+5 more|arXiv (Cornell University)|Aug 24, 2023

Ferroelectric and Negative Capacitance Devices被引用 5

一句话总结

POLCA 是一种稳健可靠的框架，用于大语言模型（LLM）推理集群中的电源超分配，通过感知阶段的频率调节和双电源阈值机制，在电源控制不可靠的情况下，仍能安全地将服务器密度提升30%，性能损失极小。

ABSTRACT

Recent innovation in large language models (LLMs), and their myriad use-cases have rapidly driven up the compute capacity demand for datacenter GPUs. Several cloud providers and other enterprises have made substantial plans of growth in their datacenters to support these new workloads. One of the key bottleneck resources in datacenters is power, and given the increasing model sizes of LLMs, they are becoming increasingly power intensive. In this paper, we show that there is a significant opportunity to oversubscribe power in LLM clusters. Power oversubscription improves the power efficiency of these datacenters, allowing more deployable servers per datacenter, and reduces the deployment time, since building new datacenters is slow. We extensively characterize the power consumption patterns of a variety of LLMs and their configurations. We identify the differences between the inference and training power consumption patterns. Based on our analysis of these LLMs, we claim that the average and peak power utilization in LLM clusters for inference should not be very high. Our deductions align with the data from production LLM clusters, revealing that inference workloads offer substantial headroom for power oversubscription. However, the stringent set of telemetry and controls that GPUs offer in a virtualized environment, makes it challenging to have a reliable and robust power oversubscription mechanism. We propose POLCA, our framework for power oversubscription that is robust, reliable, and readily deployable for GPU clusters. Using open-source models to replicate the power patterns observed in production, we simulate POLCA and demonstrate that we can deploy 30% more servers in the same GPU cluster for inference, with minimal performance loss

研究动机与目标

• 解决由于大语言模型（LLMs）需求上升而引发的数据中心 GPU 容量紧张问题。
• 识别尽管服务器级别电源利用率较高，LLM 推理集群中仍存在未被充分利用的电源余量。
• 设计一种可扩展、可靠的电源超分配机制，即使在电源管理接口不可靠且响应缓慢的情况下也能正常工作。
• 在多租户 GPU 集群中实现安全的电源超分配，且不违反服务级别目标（SLOs）。
• 证明电源超分配在 LLM 推理中是可行且有益的，且性能影响极小。

提出的方法

• 分析不同 LLM 在推理和训练阶段的功耗模式，识别出提示阶段和标记生成阶段的显著差异。
• 使用开源模型复现生产环境中 LLM 集群的真实功耗模式，用于基于仿真的评估。
• 实现双阈值电源控制机制：基于集群级功耗使用情况对低优先级任务进行节流，同时在峰值使用时启用硬件电源制动作为最后的安全保障。
• 应用感知阶段的频率调节——在计算强度较低的标记生成阶段降低 GPU 频率，以降低平均功耗。
• 将 POLCA 与现有的集群级电源管理器集成，实现生产环境中的无缝部署。
• 利用带内 GPU 控制接口补偿响应缓慢且非标准化的带外管理接口，确保系统的响应速度和可靠性。

实验结果

研究问题

• RQ1 尽管服务器级别电源利用率较高，LLM 推理集群中是否存在未被利用的电源余量？
• RQ2 GPU 频率调节和电源限制在降低 LLM 推理工作负载的峰值功耗方面有多有效？
• RQ3 在电源管理接口不可靠的 GPU 集群中，能否安全且可靠地实现电源超分配？
• RQ4 电源节流对 LLM 推理工作负载的性能影响如何，又该如何将其最小化？
• RQ5 电源超分配在不违反 SLOs 的前提下，最多可将现有集群的服务器容量提升多少？

主要发现

• LLM 推理集群仅使用其分配电源的最高 80%，表明存在显著的电源超分配潜力。
• 由于大规模训练任务中存在协调一致的同步电源峰值，训练集群仅提供约 10% 的电源余量。
• 感知阶段的频率调节——在计算强度较低的标记生成阶段降低 GPU 频率——可显著降低平均功耗。
• POLCA 可在 LLM 推理工作负载中实现每集群部署服务器数量增加 30%，且性能退化极小。
• 双阈值电源控制机制确保了安全与可靠性，硬件电源制动作为最后的应急保护措施。
• 该框架对不断演进的 LLM 架构具有鲁棒性，可扩展支持训练和多模态工作负载，并实现类似的功耗节省。