[論文レビュー] Optimized Power Control Design for Over-the-Air Federated Edge Learning

Xiaowen Cao, Guangxu Zhu+3 more|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data参考文献 52被引用数 12

ひとこと要約

本稿は、チャネルの fading とノイズによって生じる最適性ギャップを直接最小化することで収束速度を最大化する、Air-FEEL における新規なパワー制御設計を提案する。アグリゲーション誤差をモデル化し、ラグランジュ双対性を用いた凸最適化により、固定パワーまたは MSE 最小化手法よりも高速な収束を達成し、解は正則化されたチャネル逆転として構造化される。

ABSTRACT

This paper investigates the transmission power control in over-the-air federated edge learning (Air-FEEL) system. Different from conventional power control designs (e.g., to minimize the individual mean squared error (MSE) of the over-the-air aggregation at each round), we consider a new power control design aiming at directly maximizing the convergence speed. Towards this end, we first analyze the convergence behavior of Air-FEEL (in terms of the optimality gap) subject to aggregation errors at different communication rounds. It is revealed that if the aggregation estimates are unbiased, then the training algorithm would converge exactly to the optimal point with mild conditions; while if they are biased, then the algorithm would converge with an error floor determined by the accumulated estimate bias over communication rounds. Next, building upon the convergence results, we optimize the power control to directly minimize the derived optimality gaps under both biased and unbiased aggregations, subject to a set of average and maximum power constraints at individual edge devices. We transform both problems into convex forms, and obtain their structured optimal solutions, both appearing in a form of regularized channel inversion, by using the Lagrangian duality method. Finally, numerical results show that the proposed power control policies achieve significantly faster convergence for Air-FEEL, as compared with benchmark policies with fixed power transmission or conventional MSE minimization.

研究の動機と目的

• チャネルの fading とノイズによって生じるアグリゲーション誤差が、通信効率と学習性能のトレードオフを引き起こす過給エッジ学習（Air-FEEL）における課題に対処すること。
• 個々の平均二乗誤差（MSE）の最小化から、学習プロセスの収束速度を直接最大化する目的に移行すること。
• 平均およびピークパワー制約の下で、不偏および偏りのあるアグリゲーション条件下での最適性ギャップを最小化するパワー制御方針を開発すること。
• ラグランジュ双対性を用いて凸形式を導出し、実装可能なエッジネットワークにおける最適解を得ること。

提案手法

• 本稿は、最適性ギャップの観点から Air-FEEL の収束行動をモデル化し、弱い条件下では不偏アグリゲーションが正確な収束をもたらす一方、偏りのあるアグリゲーションでは誤差フロアが生じることを示す。
• 二つの最適化問題を定式化する：一つは不偏アグリゲーション制約の下での最適性ギャップ最小化、もう一つはその制約なしの問題であり、両者とも平均およびピークパワー制限の下で定式化される。
• ラグランジュ双対性を用いて問題を凸形式に変換し、最適な双対変数およびプライマル解の導出が可能になる。
• 最適なパワー制御方針は、チャネル統計とパワー制約を反映する正則化項を含む正則化されたチャネル逆転として導出される。
• 双対問題は部分勾配法を用いて解かれ、双対関数の部分勾配を用いて双対変数が更新される。
• 本手法は強い双対性を保証し、最適解への収束を実現する。各通信ラウンドにおけるパワースケーリング係数について、閉形式の式が得られる。

実験結果

リサーチクエスチョン

• RQ1 チャネルの fading とノイズによるアグリゲーション誤差は、最適性ギャップの観点から Air-FEEL の収束にどのように影響するか？
• RQ2 偏りのある対比と不偏の勾配アグリゲーションは、学習アルゴリズムの最終収束点にどのような影響を及ぼすか？
• RQ3 最適性ギャップを直接最小化するパワー制御方針は、従来の MSE 最小化または固定パワー方式を上回る性能を達成できるか？
• RQ4 平均およびピークパワー制約の下で、パワー制御問題を凸最適化問題としてどのように定式化・解けるか？
• RQ5 異なるアグリゲーション誤差モデル下で、最適パワー制御方針の構造的形態はどのようなものか？

主な発見

• 提案されたパワー制御方針は、固定送信パワーまたは従来の MSE 最小化手法を用いたベンチマーク手法と比較して、Air-FEEL において顕著に高速な収束を達成する。
• 不偏アグリゲーションの下では、弱い条件下で学習アルゴリズムは最適解に正確に収束し、収束誤差フロアが解消される。
• アグリゲーション推定値に偏りがある場合、アルゴリズムは通信ラウンドにわたる累積的なバイアスに起因するフロア誤差のある点に収束する。
• 最適パワー制御方針は正則化されたチャネル逆転として導出され、正則化項がチャネル品質とパワー制約のバランスをとる。
• 解の構造は頑健でスケーラブルであり、チャネル利得、勾配の分散、および双対変数に依存するパワースケーリング係数の閉形式式が得られる。
• 数値結果により、本手法が、特に高フェーディングおよび高ノイズ環境下で、既存の手法よりも最適性ギャップをより効果的に低減することが確認された。