[论文解读] Measuring the Carbon Intensity of AI in Cloud Instances

Jesse Dodge, Taylor Prewitt+8 more|arXiv (Cornell University)|Jun 10, 2022

Green IT and Sustainability被引用 11

一句话总结

本文提出了一套框架，利用基于位置和时间的边际排放数据，实时测量云平台上AI工作负载的实际碳强度。研究证明，选择低碳区域并优化计算时间可将排放量减少高达70%，为降低云环境中AI训练和推理的环境影响提供了切实可行的策略。

ABSTRACT

By providing unprecedented access to computational resources, cloud computing has enabled rapid growth in technologies such as machine learning, the computational demands of which incur a high energy cost and a commensurate carbon footprint. As a result, recent scholarship has called for better estimates of the greenhouse gas impact of AI: data scientists today do not have easy or reliable access to measurements of this information, precluding development of actionable tactics. Cloud providers presenting information about software carbon intensity to users is a fundamental stepping stone towards minimizing emissions. In this paper, we provide a framework for measuring software carbon intensity, and propose to measure operational carbon emissions by using location-based and time-specific marginal emissions data per energy unit. We provide measurements of operational software carbon intensity for a set of modern models for natural language processing and computer vision, and a wide range of model sizes, including pretraining of a 6.1 billion parameter language model. We then evaluate a suite of approaches for reducing emissions on the Microsoft Azure cloud compute platform: using cloud instances in different geographic regions, using cloud instances at different times of day, and dynamically pausing cloud instances when the marginal carbon intensity is above a certain threshold. We confirm previous results that the geographic region of the data center plays a significant role in the carbon intensity for a given cloud instance, and find that choosing an appropriate region can have the largest operational emissions reduction impact. We also show that the time of day has notable impact on operational software carbon intensity. Finally, we conclude with recommendations for how machine learning practitioners can use software carbon intensity information to reduce environmental impact.

研究动机与目标

• 开发一种实用的、实时测量云计算环境中AI工作负载运行碳强度的方法。
• 解决机器学习从业者缺乏可访问、可靠的碳足迹数据的问题，该问题阻碍了减排努力。
• 评估空间和时间策略（如选择低碳区域和在低碳时段调度工作负载）对降低AI环境影响的效果。
• 倡导云服务提供商向用户公开软件碳强度数据，以支持知情的、可持续的决策。
• 呼吁更新碳核算标准，支持后果性、边际排放方法，而非传统的归因方法。

提出的方法

• 该框架使用每千瓦时的基于位置的、时间特定的边际排放率（LME），估算云实例的实时碳强度。
• 将这些LME率应用于微软Azure平台上不同模型和云实例的实际AI训练与推理工作负载。
• 通过计算特定时间与位置的计算能效与边际电网排放率的乘积，得出软件碳强度（SCI）。
• 通过三种策略评估减排效果：选择不同地理区域、在一天中不同时段调度工作负载，以及在边际排放超过阈值时动态暂停实例。
• 该方法利用WattTime等公开的LME数据，实现实时碳排放估算。
• 该框架已实现为一个工具，用于估算并报告云上AI工作负载的运行碳排放。

实验结果

研究问题

• RQ1 我们如何准确测量运行在云平台上的AI工作负载的实时碳强度？
• RQ2 云数据中心的地理位置在多大程度上影响AI计算的碳强度？
• RQ3 一天中的时间如何影响基于云的AI工作负载的碳强度？
• RQ4 基于实时排放数据的动态工作负载调度能否降低AI训练和推理的碳足迹？
• RQ5 云服务提供商和用户在通过透明化和战略性资源分配减少AI运行碳排放方面可发挥何种作用？

主要发现

• 云数据中心的地理位置对运行碳强度的影响最大，高碳与低碳区域之间的差异可达70%。
• 一天中的时间显著影响碳强度，由于电网负荷变化，尤其在可再生能源间歇性强的地区，早晨和傍晚会出现排放高峰。
• 在低碳时段调度AI工作负载——例如在太阳能丰富的地区选择正午时段，或在风能丰富的地区选择夜间——相比高峰时段可将排放减少高达50%。
• 当边际排放超过阈值时动态暂停云实例可实现可测量的减排效果，尤其在与区域和时间优化结合时更为显著。
• 本研究证实，边际排放数据（LME）比平均值或区域电网平均值更能准确、更具行动指导意义地衡量碳影响。
• 当前的GHGP范围2核算框架与后果性、实时碳估算不兼容，凸显了在AI碳排放报告中更新核算标准的迫切需求。