[論文レビュー] A Joint Learning and Communications Framework for Federated Learning over Wireless Networks

Mingzhe Chen, Zhaohui Yang+4 more|arXiv (Cornell University)|Sep 17, 2019

Privacy-Preserving Technologies in Data参考文献 39被引用数 107

ひとこと要約

本論文は、無線通信ネットワーク上のフェデレーテッドラーニングのためのジョイント学習と無線フレームワークを提案し、無線因子の収束影響を導出し、ユーザー選択、リソース割当て、送信出力を最適化してFLの損失を最小化する。

ABSTRACT

In this paper, the problem of training federated learning (FL) algorithms over a realistic wireless network is studied. In particular, in the considered model, wireless users execute an FL algorithm while training their local FL models using their own data and transmitting the trained local FL models to a base station (BS) that will generate a global FL model and send it back to the users. Since all training parameters are transmitted over wireless links, the quality of the training will be affected by wireless factors such as packet errors and the availability of wireless resources. Meanwhile, due to the limited wireless bandwidth, the BS must select an appropriate subset of users to execute the FL algorithm so as to build a global FL model accurately. This joint learning, wireless resource allocation, and user selection problem is formulated as an optimization problem whose goal is to minimize an FL loss function that captures the performance of the FL algorithm. To address this problem, a closed-form expression for the expected convergence rate of the FL algorithm is first derived to quantify the impact of wireless factors on FL. Then, based on the expected convergence rate of the FL algorithm, the optimal transmit power for each user is derived, under a given user selection and uplink resource block (RB) allocation scheme. Finally, the user selection and uplink RB allocation is optimized so as to minimize the FL loss function. Simulation results show that the proposed joint federated learning and communication framework can reduce the FL loss function value by up to 10% and 16%, respectively, compared to: 1) An optimal user selection algorithm with random resource allocation and 2) a standard FL algorithm with random user selection and resource allocation.

研究の動機と目的

• ローカルモデルが基地局にアップロードされてグローバルモデルを形成する、現実的な無線ネットワーク上でのフェデレーテッドラーニング（FL）の動機付け。
• 無線因子（パケットエラー、RB割り当て、電力）がFLの収束と性能に与える影響を定量化する。
• FL損失を最小化するために、ユーザー選択、アップリンクRB割り当て、および送信電力を共同で最適化する最適化フレームワークを構築する。
• リソース割り当てと学習率設定を導くための閉形式の収束洞察を提供する。
• ベースラインFLおよび無線のみの最適化手法と比較したシミュレーションによるパフォーマンス向上を示す。

提案手法

• BSが選択されたユーザーのローカルモデルを集約してグローバルモデルを形成し、それをユーザーに送信する形でFLプロセスをモデル化する。
• パケットエラー率とFL性能を結ぶ期待収束率の閉形式表現を導出する。
• 遅延、エネルギー、リソース制約を満たすようにFL損失を最小化する混合整数非線形計画を定式化する。
• 与えられたユーザー選択とRB割り当ての下で最適な送信電力を計算し、問題を二部グラフマッチング問題に変換して、FL対応のユーザー選択とRB割り当てを Hungarian アルゴリズムで解く。
• 送信電力、RB割り当て、ユーザー参加が収束に与える影響を分析し、学習率と参加レベルの指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 無線伝送エラーとリソース制約が、無線ネットワーク上のフェデレーテッドラーニングの収束性と精度にどのように影響するか。
• RQ2 遅延およびエネルギー制約を満たしつつFL損失を最小化する、最適なユーザー選択、アップリンクRB割り当て、および送信電力の組み合わせは何か。
• RQ3 FLプロセスを閉形式の収束率で効果的に最適化して、リソース割り当ての意思決定を導くことができるか。
• RQ4 学習率と参加レベルは、無線によるエラーに対するFLのロバスト性にどのように影響するか。

主な発見

• 提案されたジョイントフレームワークは、特定のベースライン下で識別精度を最大で1.4%、3.5%、および4.1%向上させる。
• FL収束境界を導出することで、パケットエラー率、RB割り当て、およびユーザー選択が収束速度と最終性能に顕著な影響を与えることが示される。
• FL対応のユーザー選択を組み合わせた最適な電力制御とRB割り当ては、ランダムリソース割り当ておよびFL未対応のスケジューリングに対して利得を生む。
• パケットエラー率が低下し、より多くのユーザーが参加するほど収束ギャップが縮小する。FL対応の無線最適化の重要性を示している。
• 指針が示唆される：学習率とユーザー参加を調整することで、無線エラーの影響を緩和し収束を保証できる。