[论文解读] Eco2AI: carbon emissions tracking of machine learning models as the first step towards sustainable AI

Semen Budennyy, Vladimir Lazarev+10 more|arXiv (Cornell University)|Jul 31, 2022

Air Quality Monitoring and Forecasting被引用 6

一句话总结

本文介绍了 eco2AI，一个开源的 Python 库，可实现实时跟踪机器学习模型训练和推理过程中的能耗与二氧化碳排放。通过整合精确的区域性碳排放强度数据和设备级功耗监测，eco2AI 帮助研究人员优化模型以降低环境影响——在使用 4 位量化 GELU 激活函数时，二氧化碳排放量减少了 10%。

ABSTRACT

The size and complexity of deep neural networks continue to grow exponentially, significantly increasing energy consumption for training and inference by these models. We introduce an open-source package eco2AI to help data scientists and researchers to track energy consumption and equivalent CO2 emissions of their models in a straightforward way. In eco2AI we put emphasis on accuracy of energy consumption tracking and correct regional CO2 emissions accounting. We encourage research community to search for new optimal Artificial Intelligence (AI) architectures with a lower computational cost. The motivation also comes from the concept of AI-based green house gases sequestrating cycle with both Sustainable AI and Green AI pathways.

研究动机与目标

• 为应对人工智能日益增长的环境影响，提供一种透明、准确的方法，用于跟踪模型训练和推理过程中的二氧化碳排放。
• 通过量化不同架构和优化技术的环境成本，支持研究社区开发计算效率更高的人工智能模型。
• 通过使数据科学家能够监控并减少其机器学习工作流的碳足迹，为可持续人工智能奠定基础。
• 将排放跟踪整合到人工智能开发生命周期中，促进机器学习领域的问责制和可持续性。
• 通过将模型效率与环境影响降低相联系，为更广泛的基于人工智能的温室气体封存循环做出贡献。

提出的方法

• eco2AI 以 Python 库的形式实现，通过开始/停止上下文管理器或函数装饰器对训练和推理会话进行插桩。
• 该工具使用系统级监控和设备特定的功耗配置文件，实时测量 CPU、GPU 和 RAM 的功耗。
• 通过应用区域特定的碳排放强度系数（gCO2/kWh），将能耗转换为等效的二氧化碳排放量，确保地理上准确的核算。
• 该库支持加密输出日志，以确保结果的真实性与完整性，便于可复现的报告。
• 它以 CSV 格式生成结构化输出，包括项目元数据、持续时间、能耗（kWh）、二氧化碳排放量（kg）和硬件规格。
• 该工具包含一个汇总函数，可按项目聚合排放数据，并可选地使用用户定义的电价计算财务成本。

实验结果

研究问题

• RQ1 如何在机器学习模型训练和推理过程中实时、准确地跟踪能耗与二氧化碳排放？
• RQ2 诸如 4 位量化等模型优化技术在多大程度上能够同时降低能耗和等效二氧化碳排放？
• RQ3 如何有效整合基于区域的碳排放强度数据到机器学习训练跟踪中，以提高排放估算的准确性？
• RQ4 自动化排放跟踪在指导设计更可持续、更高效的 AI 模型方面发挥什么作用？
• RQ5 像 eco2AI 这类排放跟踪工具在实践中如何支持向绿色 AI 和可持续 AI 路径的转型？

主要发现

• eco2AI 库通过精确的设备级功耗测量和区域排放因子，实现了高精度的实时能耗与二氧化碳排放跟踪。
• 在 Malevich 模型训练中，对 GELU 激活函数使用 4 位量化，使功耗降低了约 10%，二氧化碳排放也降低了 10%。
• 在对比全精度模型与量化模型时，该库展示了可测量的排放减少，验证了其在模型优化中的实用性。
• eco2AI 使研究人员能够比较不同模型架构和超参数的环境影响，支持基于数据的可持续性决策。
• 该工具支持加密日志记录和财务成本估算，增强了排放报告的透明度和可复现性。
• 将 eco2AI 集成到训练工作流中非常简便，仅需通过装饰器或上下文管理器进行少量代码修改。