[論文レビュー] Fast Convergence Algorithm for Analog Federated Learning

Shuhao Xia, Jingyang Zhu+4 more|arXiv (Cornell University)|Oct 30, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用数 6

ひとこと要約

本稿は、ノイジーな fading 多重アクセスチャネルを介したアナログフェデレーテッドラーニングのための AirComp ベースの FedSplit アルゴリズムを提案する。閾値に基づくデバイス選択を用いて、信頼性の高いモデルアグリゲーションを保証する。強い凸性と滑らかさの下で最適解への線形収束を証明し、収束をチャネル状態に結びつける有限の誤差バウンドを提示。ベンチマークと比較して、収束が速く、劣悪な条件の問題に対してもロバストであることを示す。

ABSTRACT

In this paper, we consider federated learning (FL) over a noisy fading multiple access channel (MAC), where an edge server aggregates the local models transmitted by multiple end devices through over-the-air computation (AirComp). To realize efficient analog federated learning over wireless channels, we propose an AirComp-based FedSplit algorithm, where a threshold-based device selection scheme is adopted to achieve reliable local model uploading. In particular, we analyze the performance of the proposed algorithm and prove that the proposed algorithm linearly converges to the optimal solutions under the assumption that the objective function is strongly convex and smooth. We also characterize the robustness of proposed algorithm to the ill-conditioned problems, thereby achieving fast convergence rates and reducing communication rounds. A finite error bound is further provided to reveal the relationship between the convergence behavior and the channel fading and noise. Our algorithm is theoretically and experimentally verified to be much more robust to the ill-conditioned problems with faster convergence compared with other benchmark FL algorithms.

研究の動機と目的

• 無線ネットワークにおけるチャネルフェーディングおよびノイズによるフェデレーテッドラーニングの性能劣化を是正すること。
• 同時にモデルを集約できる空中計算（AirComp）を活用した、通信効率の高いアナログフェデレーテッドラーニングフレームワークの設計。
• 現実の FL アプリケーションで一般的な劣悪な条件の最適化問題において、高速収束性とロバスト性を達成すること。
• 収束行動を理論的に分析し、チャネル品質およびノイズに依存する誤差バウンドを導出すること。
• 収束速度およびロバスト性の観点から、既存のベンチマークに対する提案アルゴリズムの優位性を検証すること。

提案手法

• 複数のデバイスからの局所的モデル更新を共有無線チャネル上で空中計算（AirComp）により同時に集約できる、AirComp ベースの FedSplit アルゴリズムを導入する。
• 送信の信頼性を向上させるために、閾値に基づくデバイス選択方式を採用し、チャネルノイズおよびフェーディングに対するロバスト性を強化する。
• グローバル最適化問題を局所的サブ問題に分離するため、オペレータスプリットに基づく FedSplit フレームワークを活用する。
• 期待される損失に関する誤差バウンドを導出し、チャネルフェーディング、ノイズ電力、送信電力や帯域幅といったシステムパラメータに明示的に依存する。
• 強い凸性および滑らかさの仮定の下で、最適解への線形収束を証明することで理論的収束保証を確立する。
• AirCompにおける有効なノイズを、送信信号とは独立で平均ゼロとモデル化することで、グローバルモデルの不偏推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 無線チャネル歪みおよびノイズの下でも、アナログフェデレーテッドラーニングフレームワークは線形収束を達成できるか？
• RQ2 提案された閾値ベースのデバイス選択は、空中計算によるモデル集約の信頼性および収束性をどのように向上させるか？
• RQ3 チャネルフェーディングおよびノイズはアナログ FL の収束行動にどのような影響を及ぼし、その影響を定量的に評価できるか？
• RQ4 標準的なデジタルおよびアナログ FL ベンチマークと比較して、提案アルゴリズムは劣悪な条件の最適化問題においてどのように性能を発揮するか？
• RQ5 グローバルモデル推定の誤差は、チャネル品質およびシステムパラメータの観点からバウンド可能か？

主な発見

• 提案された AirComp ベースの FedSplit アルゴリズムは、目的関数の強い凸性および滑らかさの仮定の下で、最適解への線形収束を達成する。
• ベンチマークのデジタルおよびアナログ FL 法と比較して、収束が速く、劣悪な条件の問題に対してもよりロバストである。
• 収束性能がチャネルフェーディングおよびノイズに明示的に関連づけられる有限の誤差バウンドを導出。信号対ノイズ比が高いほど収束精度が向上することを示す。
• 期待されるグローバルモデル誤差は、$ \frac{G^2}{B^2} \left(B + \frac{d\sigma_w^2}{\gamma^2 P_0} \right) $ に比例する項によってバウンドされ、ここで $ B $ は選択されたデバイス数、$ P_0 $ は送信電力である。
• 数値実験により理論的予測が確認され、さまざまなチャネル状態下で収束速度および安定性の顕著な向上が示された。