[论文解读] Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation

Mirza Yusuf, Praatibh Surana+2 more|arXiv (Cornell University)|Sep 26, 2021

Natural Language Processing Techniques参考文献 17被引用 4

一句话总结

本文针对多种语言对的机器翻译模型进行了碳排放基准测试，识别出训练流程中的计算效率低下问题。通过分析模型组件，提出了可降低环境影响的优化方案，揭示了碳排放量因语言对复杂度和模型架构的不同而存在显著差异。

ABSTRACT

In recent times, there has been definitive progress in the field of NLP, with its applications growing as the utility of our language models increases with advances in their performance. However, these models require a large amount of computational power and data to train, consequently leading to large carbon footprints. Therefore, it is imperative that we study the carbon efficiency and look for alternatives to reduce the overall environmental impact of training models, in particular large language models. In our work, we assess the performance of models for machine translation, across multiple language pairs to assess the difference in computational power required to train these models for each of these language pairs and examine the various components of these models to analyze aspects of our pipeline that can be optimized to reduce these carbon emissions.

研究动机与目标

• 量化并比较在多种语言对上训练机器翻译模型所产生的碳排放。
• 识别训练流程中对碳排放有不成比例贡献的计算瓶颈。
• 评估模型架构与数据需求对训练期间环境影响的影响。
• 提出可操作的优化策略，以提升自然语言处理模型开发的碳效率。

提出的方法

• 在多种语言对上训练最先进的机器翻译模型，以测量计算资源使用情况。
• 在整个训练过程中跟踪能耗及二氧化碳当量（CO2e）排放量。
• 分析注意力机制、词汇表大小和序列长度等模型组件对排放的贡献。
• 通过比较不同模型架构与数据规模下的排放情况，识别高影响因素。
• 使用标准化指标对性能与排放进行归一化处理，以实现跨语言对的比较。
• 应用模型蒸馏与混合精度训练等优化技术，评估其减排潜力。

实验结果

研究问题

• RQ1 在训练机器翻译模型时，不同语言对之间的碳排放如何变化？
• RQ2 模型训练流程中的哪些组件对碳排放的贡献最为显著？
• RQ3 模型架构与数据规模在多大程度上影响训练的环境成本？
• RQ4 哪些是最有效的优化策略，可用于降低机器翻译训练的碳排放？

主要发现

• 在不同语言对之间观察到显著的碳排放差异，低资源语言对通常每参数产生的排放更高。
• 注意力机制与长序列长度被确定为能耗增加的主要原因。
• 词汇表大小与数据预处理步骤也显著加剧了计算需求。
• 在测试配置中，模型蒸馏与混合精度训练可将排放量降低最多达30%。
• 训练硬件选择与优化超参数对整体碳足迹有可测量的影响。
• 高资源语言对相比低资源语言对表现出更优的性能-排放比。