[論文レビュー] Energy-Efficient Federated Edge Learning with Joint Communication and Computation Design

Xiaopeng Mo, Jie Xu|arXiv (Cornell University)|Feb 29, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用数 9

ひとこと要約

本稿では、エネルギー効率の良いフェデレーテッドエッジラーニングのための連携通信および計算リソース割り当てフレームワークを提案し、NOMAおよびTDMAプロトコルの下で、送信電力、データレート、CPU周波数を最適化する。通信と計算のエネルギートレードオフをバランスさせることで、顕著なエネルギー削減を達成し、数値結果ではベンチマークと比較して最大40％のエネルギー消費低減を示している。

ABSTRACT

This paper studies a federated edge learning system, in which an edge server coordinates a set of edge devices to train a shared machine learning model based on their locally distributed data samples. During the distributed training, we exploit the joint communication and computation design for improving the system energy efficiency, in which both the communication resource allocation for global ML parameters aggregation and the computation resource allocation for locally updating MLparameters are jointly optimized. In particular, we consider two transmission protocols for edge devices to upload ML parameters to edge server, based on the non orthogonal multiple access and time division multiple access, respectively. Under both protocols, we minimize the total energy consumption at all edge devices over a particular finite training duration subject to a given training accuracy, by jointly optimizing the transmission power and rates at edge devices for uploading MLparameters and their central processing unit frequencies for local update. We propose efficient algorithms to optimally solve the formulated energy minimization problems by using the techniques from convex optimization. Numerical results show that as compared to other benchmark schemes, our proposed joint communication and computation design significantly improves the energy efficiency of the federated edge learning system, by properly balancing the energy tradeoff between communication and computation.

研究の動機と目的

• 無線リンクを通じた頻繁なモデルパラメータの交換に起因するフェデレーテッドエッジラーニングシステムにおける高いエネルギー消費の課題に対処する。
• 通信と計算を別々に扱う従来の設計の限界を克服し、最適でないエネルギー効率を回避する。
• 与えられた訓練精度および遅延要件を満たしつつ、エッジデバイス全体の総エネルギー消費を最小化する。
• 異なる複数アクセス方式（NOMA対TDMA）の下でのシステム性能に与える連携最適化の影響を調査する。

提案手法

• 通信および計算リソース割り当てを連携したフェデレーテッドエッジラーニングの非凸なエネルギー最小化問題を定式化する。
• 凸最適化の技術を用いて非凸問題を凸問題に変換し、双対性およびKKT条件を用いて最適解を導出可能にする。
• 各デバイスごとの送信電力、伝送レート、CPU周波数を最適化することで、双対問題を効率的に解くためのアルゴリズムを設計する。
• ラグランジュスラック法およびカールシュ＝クーン＝タッカー（KKT）条件を用いて、CPU周波数および電力割り当ての最適解を導出する。
• 上行リンクのパラメータ集約に向けたNOMAおよびTDMA伝送プロトコルを評価し、遅延制約下でのエネルギー効率および実現可能性を比較する。
• 凸最適化を用いて、通信（電力、レート）および計算（CPU周波数）リソースを連携して最適化し、総エネルギー消費を最小化する。

実験結果

リサーチクエスチョン

• RQ1 連携通信および計算設計は、別々の最適化と比較して、フェデレーテッドエッジラーニングにおけるエネルギー効率をどのように向上させるか？
• RQ2 フェデレーテッドエッジラーニングシステムにおける通信と計算エネルギー消費の最適トレードオフは何か？
• RQ3 NOMAおよびTDMAプロトコルは、エネルギー効率および最小実現可能訓練遅延の観点でどのように比較されるか？
• RQ4 最大CPU周波数および送信電力がシステムのエネルギー消費および性能に与える影響は何か？
• RQ5 訓練遅延要件の変化が、異なる伝送およびリソース割り当て方式の実現可能性およびエネルギー効率に与える影響は何か？

主な発見

• 提案された連携通信および計算設計により、連携最適化を行わないベンチマーク手法と比較して、総エネルギー消費が最大40％削減された。
• エネルギー効率はCPU周波数が0.5 GHzから1 GHzの間でピークに達する。最大CPU周波数をさらに増加させても性能向上は得られず、むしろエネルギー消費が増加する可能性がある。
• すべての設定においてNOMAはTDMAを上回るエネルギー効率を示し、最小実現可能訓練遅延も低い（124 s 対 150 s）。
• 訓練遅延が十分に大きい場合、NOMAとTDMAの性能差は小さくなり、遅延予算がより大きくなるに従って利得が減少する傾向を示す。
• 計算設計のみ、または訓練遅延最小化のみを目的とした手法では、CPU周波数が高くなるとエネルギー消費が増加する傾向を示しており、連携最適化の利点が顕著に現れている。
• 最適解は通信と計算エネルギーをバランスさせており、適切なリソース割り当てがシステム全体のエネルギー効率にとって極めて重要であることを示している。