[論文レビュー] A first look into the carbon footprint of federated learning

Xinchi Qiu, Titouan Parcollet+7 more|arXiv (Cornell University)|Feb 15, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 55

ひとこと要約

本論文は、連邦学習（FL）に対する最初の定量的 CO2e 排出モデルを提示し、FL を中央統合トレーニングと比較し、設定次第で FL が中央統合トレーニングより最大で2桁以上多くの炭素排出を発生させる可能性を示し、一部の設定ではデバイス上のエネルギー節約により中央集権化に近づくことがある。

ABSTRACT

Despite impressive results, deep learning-based technologies also raise severe privacy and environmental concerns induced by the training procedure often conducted in data centers. In response, alternatives to centralized training such as Federated Learning (FL) have emerged. Perhaps unexpectedly, FL is starting to be deployed at a global scale by companies that must adhere to new legal demands and policies originating from governments and social groups advocating for privacy protection. \textit{However, the potential environmental impact related to FL remains unclear and unexplored. This paper offers the first-ever systematic study of the carbon footprint of FL.} First, we propose a rigorous model to quantify the carbon footprint, hence facilitating the investigation of the relationship between FL design and carbon emissions. Then, we compare the carbon footprint of FL to traditional centralized learning. Our findings show that, depending on the configuration, FL can emit up to two order of magnitude more carbon than centralized machine learning. However, in certain settings, it can be comparable to centralized learning due to the reduced energy consumption of embedded devices. We performed extensive experiments across different types of datasets, settings and various deep learning models with FL. Finally, we highlight and connect the reported results to the future challenges and trends in FL to reduce its environmental impact, including algorithms efficiency, hardware capabilities, and stronger industry transparency.

研究の動機と目的

• FL の環境影響を正確性と効率性とともに評価する必要性を動機付ける。
• FL トレーニングと通信からの CO2e 排出を推定する厳密な分析モデルを提案する。
• 複数のタスクとデータセットにわたってFL の設計選択が炭素フットプリントに与える影響を定量化する。
• 現実的なハードウェアとネットワーク設定の下で FL の排出を中央統合トレーニングと比較する。
• アルゴリズム、ハードウェア、透明性の改善を通じて FL の環境影響を低減するロードマップをoutlineする。

提案手法

• 解析モデルを開発して、各クライアントのトレーニングエネルギーと WAN 通信エネルギーを推定する（式1および式3）。
• エネルギー消費を場所特有の排出係数を用いて CO2e 排出に変換する（式4および式5）。
• 実機FLハードウェア（エッジデバイス）と中央サーバを用い、IIDおよび非IID分割のタスク（画像分類と音声）で広範な実験を実施する。
• ハイパーパラメータ（ローカルエポック数、ラウンド数、FedAVG 対 FedADAM など）が総排出量に与える影響を調査する。
• さまざまな設定（データセット：CIFAR-10、FEMNIST、ImageNet、音声データセット）において、FL と中央統合トレーニングをエネルギー使用量と排出量の観点で比較する。
• 非IID対 IID データ分布を分析し、炭素効率と収束性への影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 現実的なハードウェアとネットワーク条件の下で、FL の CO2e 排出量の最初の定量推定は何か。
• RQ2 FL の設計選択（ローカルエポック数、集約戦略、IID/非IIDデータ、ラウンド数）は、中央統合トレーニングと比較して総エネルギー使用量と CO2e 排出量にどう影響するか。
• RQ3 FL の WAN 通信エネルギーは、局所トレーニングエネルギーに対して全体の炭素フットプリントにどの程度寄与するか。
• RQ4 どの設定で FL の排出が中央集権トレーニングと同等または著しく上回る可能性があり、その理由は何か。
• RQ5 FL の炭素フットプリントを削減する方向性（アルゴリズム、ハードウェア、透明性） は何か。

主な発見

• FL の排出は多くのハイパーパラメータに依存する。WAN 通信は総排出量の 0.7% から 96% を占める場合がある。
• 中央統合トレーニングと比較して、FL はタスクや設定によっては炭素排出量が 72% から数百倍にもなることがある。
• 埋め込みデバイスとエネルギー効率の高いローカルコンピュートを前提とすると、FL の排出はデバイスレベルのエネルギー使用削減により中央集権化トレーニングと同等または近い水準になることがある。
• タスクを跨いで、CIFAR-10 や ImageNet のような画像分類タスクでは中央統合トレーニングの方が一般的にエネルギー消費が少ないが、データセットと設定により結果は異なる。
• 非IID分割は総エネルギー消費量と必要ラウンド数を増加させることが多く、排出量に影響を与える。
• 本研究は、アルゴリズムの効率、ハードウェア能力、産業界の透明性に焦点を当てた FL の環境影響を低減するためのロードマップを提供する。