[论文解读] A first look into the carbon footprint of federated learning

Xinchi Qiu, Titouan Parcollet+7 more|arXiv (Cornell University)|Feb 15, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用 55

一句话总结

本文提出了联邦学习（FL）的首个定量化 CO2e 排放模型，比较了 FL 与集中式训练，并显示 FL 的碳排放量在配置不同的情况下可多达比集中式训练高出两个数量级，某些设置由于设备端能源节省而趋近于集中化。

ABSTRACT

Despite impressive results, deep learning-based technologies also raise severe privacy and environmental concerns induced by the training procedure often conducted in data centers. In response, alternatives to centralized training such as Federated Learning (FL) have emerged. Perhaps unexpectedly, FL is starting to be deployed at a global scale by companies that must adhere to new legal demands and policies originating from governments and social groups advocating for privacy protection. extit{However, the potential environmental impact related to FL remains unclear and unexplored. This paper offers the first-ever systematic study of the carbon footprint of FL.} First, we propose a rigorous model to quantify the carbon footprint, hence facilitating the investigation of the relationship between FL design and carbon emissions. Then, we compare the carbon footprint of FL to traditional centralized learning. Our findings show that, depending on the configuration, FL can emit up to two order of magnitude more carbon than centralized machine learning. However, in certain settings, it can be comparable to centralized learning due to the reduced energy consumption of embedded devices. We performed extensive experiments across different types of datasets, settings and various deep learning models with FL. Finally, we highlight and connect the reported results to the future challenges and trends in FL to reduce its environmental impact, including algorithms efficiency, hardware capabilities, and stronger industry transparency.

研究动机与目标

• 在准确性与效率之外，推动评估 FL 环境影响的必要性。
• 提出一个严格的分析模型，用以估计 FL 训练与通信的 CO2e 排放。
• 量化多任务与数据集下 FL 设计选择对碳足迹的影响。
• 在现实硬件与网络设置下，将 FL 排放与集中式训练进行对比。
• 概述通过算法、硬件与透明度改进来减少 FL 环境影响的路线图。

提出的方法

• 开发一个分析模型来估算 FL 能耗，包括每个客户端训练能耗和广域网通信能耗（方程式 1 与 3）。
• 将能耗转化为 CO2e 排放，使用按位置的排放因子（方程式 4 与 5）。
• 在真实 FL 硬件（边缘设备）和集中式服务器上，对图像分类与语音等任务进行广泛实验，覆盖 IID 与非 IID 的分区。
• 研究超参数对总排放的影响（如本地轮数、轮数、FedAVG 与 FedADAM）。
• 在不同设置下比较 FL 与集中式训练的能耗与排放（数据集：CIFAR-10、FEMNIST、ImageNet；语音数据集）。
• 分析非 IID 与 IID 数据分布的差异，并讨论对碳效率与收敛性的影响。

实验结果

研究问题

• RQ1 在现实硬件与网络条件下，FL 的 CO2e 排放的首次定量估算是多少？
• RQ2 FL 设计选择（本地轮数、聚合策略、IID/非 IID 数据、轮数）如何影响总能耗与相较于集中式训练的 CO2e 排放？
• RQ3 FL 的 WAN 通信能量相对于本地训练能量对总体碳足迹的贡献是多少？
• RQ4 在何种配置下 FL 排放可以与集中式训练相当或显著超过集中式训练，原因何在？
• RQ5 有哪些方向被提出以降低 FL 的碳足迹（算法、硬件、透明度）？

主要发现

• FL 排放依赖于多种超参数；WAN 通信可占总排放的 0.7% 至超过 96%。
• 与集中式训练相比，在不同任务和设置中，FL 的碳排放可能高出 72% 至数百倍。
• 在某些嵌入式设备与能效较高的本地计算设定下，由于设备端能耗下降，FL 排放可与集中式训练相当。
• 在多任务下，集中式训练通常比 FL 在像 CIFAR-10 与 ImageNet 这样的图像分类任务上消耗更少的能量，不过结果因数据集与配置而异。
• 非 IID 分区通常增加总能耗与所需轮数，影响排放。
• 本研究提供了以算法效率、硬件能力与行业透明度为重点的路线图，以降低 FL 的环境影响。