[論文レビュー] Energy Efficient Federated Learning Over Wireless Communication Networks

Zhaohui Yang, Mingzhe Chen+3 more|arXiv (Cornell University)|Nov 6, 2019

Privacy-Preserving Technologies in Data参考文献 42被引用数 53

ひとこと要約

この論文は、無線ネットワーク上の連邦学習のためのエネルギー最小化フレームワークを提案し、局所計算と伝送リソースを同時に最適化して遅延制約を満たす。反復アルゴリズムにより最大59.5%のエネルギー削減を達成。

ABSTRACT

In this paper, the problem of energy efficient transmission and computation resource allocation for federated learning (FL) over wireless communication networks is investigated. In the considered model, each user exploits limited local computational resources to train a local FL model with its collected data and, then, sends the trained FL model to a base station (BS) which aggregates the local FL model and broadcasts it back to all of the users. Since FL involves an exchange of a learning model between users and the BS, both computation and communication latencies are determined by the learning accuracy level. Meanwhile, due to the limited energy budget of the wireless users, both local computation energy and transmission energy must be considered during the FL process. This joint learning and communication problem is formulated as an optimization problem whose goal is to minimize the total energy consumption of the system under a latency constraint. To solve this problem, an iterative algorithm is proposed where, at every step, closed-form solutions for time allocation, bandwidth allocation, power control, computation frequency, and learning accuracy are derived. Since the iterative algorithm requires an initial feasible solution, we construct the completion time minimization problem and a bisection-based algorithm is proposed to obtain the optimal solution, which is a feasible solution to the original energy minimization problem. Numerical results show that the proposed algorithms can reduce up to 59.5% energy consumption compared to the conventional FL method.

研究の動機と目的

• 無線ネットワーク上のエネルギー効率の良い FL をプライバシーとリソース制約の下で動機づける。
• 局所計算と無線伝送が FL の遅延とエネルギーに及ぼす共同影響をモデル化する。
• 遅延制約の下で総エネルギーを最小化する反復的リソース配分アルゴリズムを開発する。

提案手法

• FL を FDMA セルラネットワーク上で局所計算と局所モデルのアップリンク伝送を用いてモデル化する。
• 局所計算精度とグローバル集約を考慮した FL の収束速度を導出する。
• 時間、帯域幅、電力、計算周波数、学習精度にわたる共同エネルギー最小化問題を定式化する。
• 各変数に対して閉形式の更新を含む低計算複雑さの反復アルゴリズムを提案する。
• 完了時間最小化問題とビセクションベースの解法による実現可能性探索ステップ。
• 学習精度パラメータの Dinkelbach ベースの最適化を含む詳細なリソース配分ワークフローを提示する。）
• research_questions:[
• How does FL performance and convergence depend on local computation accuracy and learning dynamics under wireless resource constraints?
• What is the minimum total energy to complete FL given latency constraints and resource limits?
• How can time, bandwidth, power, and computation frequency be jointly optimized to minimize energy while satisfying latency and data transmission requirements?
• Can a feasible initial solution be efficiently found to enable the energy minimization algorithm?
• What energy savings can be achieved compared to conventional FL without joint optimization?

実験結果

リサーチクエスチョン

• RQ1 FL の性能と収束は、無線リソース制約下での局所計算精度と学習ダイナミクスにどのように依存するのか？
• RQ2 遅延制約とリソース制限を考慮した場合、FL を完了するための総エネルギーの最小値はどれくらいか？
• RQ3 時間、帯域幅、電力、計算周波数を共同最適化して、遅延とデータ伝送要件を満たしつつエネルギーを最小化するにはどうすればよいか？
• RQ4 エネルギー最適化アルゴリズムを有効にするための実現可能な初期解を効率的に見つけられるか？
• RQ5 結合最適化なしの従来のFLと比較して、どの程度のエネルギー節約が得られるか？

主な発見

• エネルギー効率の高い局所計算と伝送リソースの共同配分スキームは、従来の FL 手法と比較して総エネルギー消費を最大59.5%削減する。
• 本論文は、無線環境で局所計算精度とグローバル集約を組み込んだ FL の収束速度を導出する。
• エネルギー最小化問題に対して、時間、帯域幅、電力、計算周波数、学習精度の閉形式解を用いた反復アルゴリズムを提案する。
• エネルギー最適化のためのビセクションベースのアルゴリズムを用いた完了時間最小化アプローチは、エネルギー最適化の実現可能な出発点を提供する。
• 遅延制約の下で、局所計算エネルギーと伝送エネルギーの両方を考慮した最適化フレームワークは、顕著なエネルギー節約を実現する。