[論文レビュー] Convergence Time Optimization for Federated Learning over Wireless Networks

Mingzhe Chen, H. Vincent Poor+2 more|arXiv (Cornell University)|Jan 22, 2020

Privacy-Preserving Technologies in Data参考文献 31被引用数 33

ひとこと要約

この論文は、ユーザー選択、無線資源割り当て、および ANN ベースの予測を共同設計して、無線ネットワーク上でのフェデレーテッドラーニングの収束を加速し、トレーニング損失を低減することを提案する。

ABSTRACT

In this paper, the convergence time of federated learning (FL), when deployed over a realistic wireless network, is studied. In particular, a wireless network is considered in which wireless users transmit their local FL models (trained using their locally collected data) to a base station (BS). The BS, acting as a central controller, generates a global FL model using the received local FL models and broadcasts it back to all users. Due to the limited number of resource blocks (RBs) in a wireless network, only a subset of users can be selected to transmit their local FL model parameters to the BS at each learning step. Moreover, since each user has unique training data samples, the BS prefers to include all local user FL models to generate a converged global FL model. Hence, the FL performance and convergence time will be significantly affected by the user selection scheme. Therefore, it is necessary to design an appropriate user selection scheme that enables users of higher importance to be selected more frequently. This joint learning, wireless resource allocation, and user selection problem is formulated as an optimization problem whose goal is to minimize the FL convergence time while optimizing the FL performance. To solve this problem, a probabilistic user selection scheme is proposed such that the BS is connected to the users whose local FL models have significant effects on its global FL model with high probabilities. Given the user selection policy, the uplink RB allocation can be determined. To further reduce the FL convergence time, artificial neural networks (ANNs) are used to estimate the local FL models of the users that are not allocated any RBs for local FL model transmission at each given learning step, which enables the BS to enhance its global FL model and improve the FL convergence speed and performance.

研究の動機と目的

• 現実的なワイヤレスネットワークで、制限されたリソースブロック (RB) を前提としたフェデレーティッドラーニングを動機づけ、モデル化する。
• ユーザー選択とRB割り当てを結合して、FLの収束時間とトレーニング損失を最小化する。
• 非送信ユーザーの局所モデルをニューラルネットワークで予測し、グローバルモデルを改善できるようにする。
• スケジューリング、リソース、予測が収束速度と学習性能に与える影響を分析する。

提案手法

• RB制約のため、1回の反復で一部のユーザーから局所モデルを収集する基地局（BS）でFLをモデル化する。
• ユーザー選択とRB割り当てを前提として、反復時間とトレーニング損失を最小化する結合最適化問題を定式化する。
• ローカル更新がグローバルモデルに強く影響するユーザーを優先する確率的なユーザー選択手法を導入する。
• ユーザー選択を固定した後、各反復でRB割り当て問題を解くために interior-point 法を用いる。
• グローバルモデルを強化するため、非支援ユーザーの局所モデルを予測する人工ニューラルネットワーク（MLP）を用いる。
• 送信された局所モデルと予測された局所モデルの組み合わせと予測誤差チェックを用いてグローバルモデルを更新する。

実験結果

リサーチクエスチョン

• RQ1 ワイヤレス制約下で、FLの収束時間を最小化するようにユーザー選択とRB割り当てをどのように設計できるか。
• RQ2 非送信ユーザーの局所モデル予測がFLの収束と精度に与える影響はどの程度か。
• RQ3 提案されたワイヤレス枠組みの下で、学習法（全結合/SGDなど）は収束にどのような役割を果たすか。
• RQ4 提案された確率的なユーザー選択が、全ユーザーがグローバルモデルに寄与することをどれだけ確実にするか。

主な発見

• 提案設計により、無線ネットワーク上のFLの収束時間を最大で56%削減できる。
• 非送信ユーザーのモデルのANNベース予測は、グローバルモデルの品質と収束速度を改善できる。
• 確率的なユーザー選択は、影響力のある局所モデルを含める機会を高めつつ、全ユーザーに非ゼロのアクセス確率を保証する。
• 線形化された制約によるRB割り当ては、効率的な最適化と各反復の更新を速くする。
• 予測された局所モデルをグローバル更新に含めることで、標準FLと比較してトレーニング損失を低減し、下流タスク（例：手書き数字認識）の精度を最大で3%向上させる。
• 分析は、全学習/SGD、RB割り当て、ユーザー選択、および予測精度が収束挙動に有意な影響を与えることを示す。