[论文解读] Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model

Alexandra Sasha Luccioni, Sylvain Viguier+1 more|arXiv (Cornell University)|Nov 3, 2022

Green IT and Sustainability被引用 188

一句话总结

论文估算 BLOOM 的生命周期碳排放，包括体现在内的、动态的、空闲的和部署排放，并将 BLOOM 与其他 LLMs 进行比较。

ABSTRACT

Progress in machine learning (ML) comes with a cost to the environment, given that training ML models requires significant computational resources, energy and materials. In the present article, we aim to quantify the carbon footprint of BLOOM, a 176-billion parameter language model, across its life cycle. We estimate that BLOOM's final training emitted approximately 24.7 tonnes of~\carboneq~if we consider only the dynamic power consumption, and 50.5 tonnes if we account for all processes ranging from equipment manufacturing to energy-based operational consumption. We also study the energy requirements and carbon emissions of its deployment for inference via an API endpoint receiving user queries in real-time. We conclude with a discussion regarding the difficulty of precisely estimating the carbon footprint of ML models and future research directions that can contribute towards improving carbon emissions reporting.

研究动机与目标

• 在其生命周期内量化 BLOOM 的总碳足迹。
• 将排放分解为 embodied（体现在材料与制造）、dynamic（动态能源）、idle（空闲）以及 deployment（部署/推理）四个组成部分。
• 将 BLOOM 的排放与其他大型语言模型进行比较，以便将环境影响置于背景。
• 讨论局限性、方法学选择以及实现透明报告的方向。

提出的方法

• 采用覆盖从制造到部署阶段的生命周期评估框架。
• 使用外部足迹估算并假设服务器与 GPU 的6年更换来计算体现在材料的排放。
• 使用 GPU 小时数、GPU TDP 和电网碳强度来估算动态排放。
• 通过集群电力使用实验测量空闲消耗，以分配非训练能源。
• 使用实时 API 场景和 CodeCarbon 工具分析部署/推理排放。
• 在给出跨模型对比的同时指出各研究方法的变异性。

实验结果

研究问题

• RQ1 BLOOM 在其生命周期中的总温室气体排放是多少（体现在材料、动态、空闲、部署）？
• RQ2 在类似生命周期核算下，BLOOM 的排放与其他 176B 以上参数的 LLM 有何比较？
• RQ3 BLOOM 碳足迹的主要贡献者有哪些，估计对方法选择的敏感度如何？
• RQ4 对报告实践及未来在 ML 碳核算方面的工作有何含义？

主要发现

• BLOOM 总排放：大约 50.5 吨 CO2eq，覆盖生命周期（体现在材料+动态+空闲）。
• 动态能源贡献 24.69 吨 CO2eq（约占总量的 48.9%），空闲贡献 14.6 吨（28.9%），体现在材料的贡献 11.2 吨（22.2%）。
• BLOOM 训练使用 Nvidia A100 GPU，总计 1,082,990 GPU 小时，电网强度为 57 gCO2eq/kWh，能源使用量为 433 MWh。
• 与 GPT-3 和 Gopher 相比，BLOOM 的排放较低，主要因为更低的电网碳强度（57 gCO2eq/kWh）和相近的能耗；OPT 显示更高的排放，原因是会计口径不同（并讨论了 PUE 相关考虑）。
• 部署/推理排放来自在 GCP 上的实时 API 部署的估算，突出显示在请求之间空闲时的能源使用以及区域特定的电网强度。