[論文レビュー] Transmission Power Control for Over-the-Air Federated Averaging at Network Edge

Cao Xiaowen, Guangxu Zhu+2 more|arXiv (Cornell University)|Nov 10, 2021

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿は、ネットワークエッジにおけるオーバーザエア連邦平均（Air-FedAvg）の送信電力制御方式を提案し、集約誤差を低減し、学習効率を向上させる。端末の送信電力とエッジサーバーのノイズ除去係数を共同最適化することにより、最適性ギャップと学習遅延を最小化し、収束速度を向上させ、従来のデジタルOMAベースのFedAvgと比較して遅延を1桁低減する。

ABSTRACT

Over-the-air computation (AirComp) has emerged as a new analog power-domain non-orthogonal multiple access (NOMA) technique for low-latency model/gradient-updates aggregation in federated edge learning (FEEL). By integrating communication and computation into a joint design, AirComp can significantly enhance the communication efficiency, but at the cost of aggregation errors caused by channel fading and noise. This paper studies a particular type of FEEL with federated averaging (FedAvg) and AirComp-based model-update aggregation, namely over-the-air FedAvg (Air-FedAvg). We investigate the transmission power control to combat against the AirComp aggregation errors for enhancing the training accuracy and accelerating the training speed of Air-FedAvg. Towards this end, we first analyze the convergence behavior (in terms of the optimality gap) of Air-FedAvg with aggregation errors at different outer iterations. Then, to enhance the training accuracy, we minimize the optimality gap by jointly optimizing the transmission power control at edge devices and the denoising factors at edge server, subject to a series of power constraints at individual edge devices. Furthermore, to accelerate the training speed, we also minimize the training latency of Air-FedAvg with a given targeted optimality gap, in which learning hyper-parameters including the numbers of outer iterations and local training epochs are jointly optimized with the power control. Finally, numerical results show that the proposed transmission power control policy achieves significantly faster convergence for Air-FedAvg, as compared with benchmark policies with fixed power transmission or per-iteration mean squared error (MSE) minimization. It is also shown that the Air-FedAvg achieves an order-of-magnitude shorter training latency than the conventional FedAvg with digital orthogonal multiple access (OMA-FedAvg).

研究の動機と目的

• 無線エッジネットワークにおけるチャネルフェージングとノイズによって引き起こされる、オーバーザエア連邦平均（Air-FedAvg）における集約誤差の課題に対処すること。
• 個々のデバイスの電力制約のもとで、送信電力とノイズ除去係数を共同最適化することにより、最適性ギャップを最小化し、学習精度を向上させること。
• 所定の最適性ギャップを満たす条件下で、学習ハイパーパramータと電力制御を共同最適化することにより、遅延を最小化し、学習速度を加速すること。
• 固定電力制御およびイテレーション毎のMSE最小化ベンチマークと比較して、提案手法の電力制御方策が収束速度および遅延の面で優れていることを示すこと。

提案手法

• エッジデバイスの送信電力とエッジサーバーのノイズ除去係数を共同最適化することで、Air-FedAvgにおける最適性ギャップを最小化する凸最適化問題を定式化する。
• 非微分可能な双対問題を解くためにラグランジュ双対性と楕円体法を用い、最適な電力制御方策の効率的計算を可能にする。
• チャネル利得、目標精度、電力制約を組み込んだ、デバイスおよびイテレーションごとの最適電力制御の閉形式式を導出する。
• 外側イテレーション数とローカルエポック数という学習ハイパーパramータを最適化に統合し、所定の収束精度を満たす条件下で学習遅延を共同で最小化する。
• 有界な分散をもつ確率的勾配降下法に基づく収束解析フレームワークを採用し、ローカル更新における勾配ノイズとモデルドリフトをモデル化する。
• 算術平均と幾何平均の不等式およびリプシッツ連続性の仮定を用いて、局所勾配の期待値がグローバル勾配から逸脱する度合いを上限で評価する。

実験結果

リサーチクエスチョン

• RQ1 チャネルフェージングとノイズの下で、送信電力制御は最適性ギャップの観点からAir-FedAvgの収束挙動にどのように影響を与えるか？
• RQ2 個々のデバイスの電力制約のもとで、最適性ギャップを最小化するための送信電力とノイズ除去係数の最適な共同方策は何か？
• RQ3 所定の最適性ギャップを満たす条件下で、学習ハイパーパramータと電力制御を共同最適化することにより、どのようにして学習遅延を最小化できるか？
• RQ4 固定電力制御およびイテレーション毎のMSE最小化ベンチマークと比較して、提案された電力制御方策は収束速度および学習遅延の面でどのように優れているか？

主な発見

• 提案された送信電力制御方策は、固定送信電力またはイテレーション毎の平均二乗誤差最小化ベンチマークと比較して、Air-FedAvgにおける収束が著しく速いことを示した。
• 従来のデジタル直交多重アクセス（OMA-FedAvg）ベースのFedAvgと比較して、学習遅延を1桁低減した。
• 送信電力とノイズ除去係数の共同最適化により、最適性ギャップが効果的に低減され、同じ学習時間内にモデル精度が向上した。
• ラグランジュ双対性と楕円体法の適用により、最適な電力制御方策の効率的かつスケーラブルな計算が可能になった。
• 導出された最適電力制御の閉形式解は、チャネル状態、デバイス固有の制約、および目標精度を適切に反映している。
• 数値結果により、提案手法が通信および計算遅延を著しく低減しながらも、高いモデル精度を維持することが確認された。