[论文解读] Carbon Responder: Coordinating Demand Response for the Datacenter Fleet

Jiali Xing, Bilge Acun+6 more|arXiv (Cornell University)|Nov 14, 2023

Cloud Computing and Resource Management被引用 5

一句话总结

Carbon Responder 是一种需求响应框架，通过建模性能敏感性并实现公平、高效且可扩展的碳感知负载迁移，协调异构数据中心工作负载（包括实时和批处理）的电力削减。与基线方法相比，其碳足迹最高可减少2倍，同时通过性能感知策略公平分配性能损失。

ABSTRACT

The increasing integration of renewable energy sources results in fluctuations in carbon intensity throughout the day. To mitigate their carbon footprint, datacenters can implement demand response (DR) by adjusting their load based on grid signals. However, this presents challenges for private datacenters with diverse workloads and services. One of the key challenges is efficiently and fairly allocating power curtailment across different workloads. In response to these challenges, we propose the Carbon Responder framework. The Carbon Responder framework aims to reduce the carbon footprint of heterogeneous workloads in datacenters by modulating their power usage. Unlike previous studies, Carbon Responder considers both online and batch workloads with different service level objectives and develops accurate performance models to achieve performance-aware power allocation. The framework supports three alternative policies: Efficient DR, Fair and Centralized DR, and Fair and Decentralized DR. We evaluate Carbon Responder polices using production workload traces from a private hyperscale datacenter. Our experimental results demonstrate that the efficient Carbon Responder policy reduces the carbon footprint by around 2x as much compared to baseline approaches adapted from existing methods. The fair Carbon Responder policies distribute the performance penalties and carbon reduction responsibility fairly among workloads.

研究动机与目标

• 解决在具有不同服务级别目标的私有超大规模数据中心中，协调异构工作负载需求响应的挑战。
• 开发性能感知的电力分配机制，公平分配各工作负载的性能损失与碳减排责任。
• 通过建模现实数据中心环境中性能弹性与碳强度动态变化，实现高效且可扩展的需求响应。
• 探索在可再生能源集成的动态电力网络中，效率、公平性与碳减排之间的权衡。
• 提供一种支持生产规模数据中心中集中式与分布式部署需求响应策略的框架。

提出的方法

• 该框架使用生产环境追踪数据，对实时与批处理工作负载的性能弹性进行建模，量化单位电力削减带来的性能损失。
• 引入统一指标，用于比较不同工作负载的性能成本与碳减排收益，支持跨工作负载的权衡分析。
• 提出三种核心策略：高效需求响应（最小化总体性能损失）、公平且集中式需求响应（通过优化平衡损失）、公平且分布式需求响应（使用激励机制实现可扩展性）。
• 利用随时间变化的电网碳强度数据（例如，CAISO 2021年数据及2050年预测趋势）指导电力调节决策。
• 基于私有超大规模数据中心的真实工作负载追踪数据校准性能模型，确保实际适用性。
• 系统支持动态负载迁移——在高碳时段推迟或降级非关键工作负载，在低炭时段加速执行。

实验结果

研究问题

• RQ1 在具有不同服务级别目标的私有数据中心中，如何有效协调异构工作负载的需求响应？
• RQ2 当对混合实时与批处理工作负载实施电力削减时，性能成本与碳减排之间的权衡关系如何？
• RQ3 如何实现对不同功率变化敏感度的工作负载之间性能损失分配的公平性？
• RQ4 集中式与分布式策略部署对可扩展性与碳减排效率的影响是什么？
• RQ5 当与真实世界数据中心工作负载及电网碳强度数据结合时，需求响应在多大程度上可降低运营碳排放？

主要发现

• 高效需求响应策略相比从现有文献中适配的基线需求响应方法，可将数据中心碳足迹减少1.5至2倍。
• 公平且集中式需求响应策略在各工作负载间实现了均衡的性能损失分配，确保无单一工作负载承担不成比例的影响。
• 公平且分布式需求响应策略在保持公平性的同时，实现了无需集中协调的可扩展分布式部署。
• Carbon Responder 的性能模型准确捕捉了工作负载对电力变化的敏感性，实现了精确的电力分配，最大限度减少非预期的性能下降。
• 该框架表明，当结合每小时碳强度数据时，需求响应可在不同地区将运营碳排放减少40%至75%。
• 即使考虑额外硬件的隐含碳排放，通过 Carbon Responder 实施需求响应仍能实现数据中心整体碳足迹的净减少。