[論文レビュー] Green Federated Learning

Ashkan Yousefpour, Shen Guo+8 more|arXiv (Cornell University)|Mar 26, 2023

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

本論文は、Federated Learning (FL) の生産規模でのデータ駆動型カーボンフットプリント分析を提供し、競争力のある性能を維持しつつ排出を最小化するGreen FLを、実世界のPapayaベースFLシステムの測定に基づくフレームワークとして紹介します。

ABSTRACT

The rapid progress of AI is fueled by increasingly large and computationally intensive machine learning models and datasets. As a consequence, the amount of compute used in training state-of-the-art models is exponentially increasing (doubling every 10 months between 2015 and 2022), resulting in a large carbon footprint. Federated Learning (FL) - a collaborative machine learning technique for training a centralized model using data of decentralized entities - can also be resource-intensive and have a significant carbon footprint, particularly when deployed at scale. Unlike centralized AI that can reliably tap into renewables at strategically placed data centers, cross-device FL may leverage as many as hundreds of millions of globally distributed end-user devices with diverse energy sources. Green AI is a novel and important research area where carbon footprint is regarded as an evaluation criterion for AI, alongside accuracy, convergence speed, and other metrics. In this paper, we propose the concept of Green FL, which involves optimizing FL parameters and making design choices to minimize carbon emissions consistent with competitive performance and training time. The contributions of this work are two-fold. First, we adopt a data-driven approach to quantify the carbon emissions of FL by directly measuring real-world at-scale FL tasks running on millions of phones. Second, we present challenges, guidelines, and lessons learned from studying the trade-off between energy efficiency, performance, and time-to-train in a production FL system. Our findings offer valuable insights into how FL can reduce its carbon footprint, and they provide a foundation for future research in the area of Green AI.

研究の動機と目的

• 実世界のフェデレーテッドラーニングタスクにおけるクライアント、サーバ、ネットワーク全体の炭素排出量を定量化する。
• 本番環境のFLのカーボンフットプリントの主要因を特定する。
• FLにおけるエネルギー効率、学習時間、モデル品質のトレードオフを理解する。
• パフォーマンスを犠牲にせずにFLの排出を削減する実用的なガイドラインと予測モデルを提供する。

提案手法

• 本番環境FLスタック（Papaya）のすべての主要コンポーネントを計測・プロファイリングし、クライアント、サーバ、およびネットワーキングからの排出を測定する。"
• 実運用環境で、同期（FedAvg）および非同期（FedBuff）設定でFLを評価するために、文字レベルの言語モデリングタスクを用いて評価する。
• CPUとWi-Fiを含むクライアントの電力プロファイル、および前提利用率（1%）でのPUEとカーボン強度ウェイト付けを用いてサーバー電力を測定する。
• 同時実行、ラウンド、および集約がカーボンフットプリントとモデル性能に与える寄与を分析する。
• 学習率、バッチサイズ、局所エポック、同時実行、集約目標といったハイパーパラメータの調整を探索し、目標パープレキシティを達成しつつ排出を最小化する。
• デプロイ前にFLタスクのカーボンフットプリントを推定する予測モデルを開発する。

実験結果

リサーチクエスチョン

• RQ1 本番FLシステムにおけるクライアント、サーバ、ネットワーク基盤全体のカーボンフットプリントの分布はどのようになるか？
• RQ2 与えられた目標パープレキシティと学習時間に対して、同期FLと非同期FLの排出量はどのように比較されるか？
• RQ3 本番環境のFLにおいて、どのハイパーパラメータがカーボン排出量と学習効率に最も影響するか？
• RQ4 デプロイ前にFLタスクのカーボンフットプリントを予測してGreen FLの意思決定を導くことができるか？
• RQ5 モデル品質や収束速度を犠牲にせずにFLの排出を削減する実用的なガイドラインは何か？

主な発見

• クライアントの計算とクライアント-サーバ間の通信がFL排出の大半を占め、スタック全体でおおよそ97%を占めている。
• サーバー側の計算は排出のごく一部（約1–2%）で、アップロード（約27–29%）とダウンロード（約22–24%）のネットワークトラフィックも重要。
• 非同期FLはより速く収束するが、類似の精度に調整した場合、同期FLよりカーボン排出量が高くなる。
• 似た精度を達成する異なる構成は、カーボン影響に最大200倍の差を生みうることがあり、ハイパーパラメータ最適化の価値を浮き彫りにしている。
• オプティマイザの選択とより小さな同時実行性によって学習時間を短縮することで、モデル品質を維持しつつカーボンフットプリントを低減できる。
• 大規模言語モデリングFLを数日実行すると約5–20 kg CO2eの排出量となる可能性があり、モデル探索と再訓練時にはさらに数倍に増える可能性がある。