[論文レビュー] Delay Minimization for Federated Learning Over Wireless Communication Networks

Zhaohui Yang, Mingzhe Chen+5 more|arXiv (Cornell University)|Jul 5, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用数 53

ひとこと要約

本論文は、無線ネットワーク上の federated learning における計算と通信の遅延を共同で最小化する問題を定式化し、bisect法（二分法）によって解法を提案し、顕著な遅延削減を達成する。

ABSTRACT

In this paper, the problem of delay minimization for federated learning (FL) over wireless communication networks is investigated. In the considered model, each user exploits limited local computational resources to train a local FL model with its collected data and, then, sends the trained FL model parameters to a base station (BS) which aggregates the local FL models and broadcasts the aggregated FL model back to all the users. Since FL involves learning model exchanges between the users and the BS, both computation and communication latencies are determined by the required learning accuracy level, which affects the convergence rate of the FL algorithm. This joint learning and communication problem is formulated as a delay minimization problem, where it is proved that the objective function is a convex function of the learning accuracy. Then, a bisection search algorithm is proposed to obtain the optimal solution. Simulation results show that the proposed algorithm can reduce delay by up to 27.3% compared to conventional FL methods.

研究の動機と目的

• プライバシーとリソース制約のため、無線ネットワーク上で遅延を意識した FL を促進する。
• 学習精度に影響を受ける局所計算および無線伝送遅延をモデル化する。
• 総遅延が learning accuracy に対して凸であることを示し、二分法によって最適解を導出する。

提案手法

• 1つの基地局と K人のユーザーが所与の精度 η で局所 FL を実行するセルラー FL システムをモデル化する。
• 各ユーザーの計算時間を A_k log2(1/η)/f_k と FDMA を用いた伝送制約として導出する。
• 遅延が η に対して凸であることを証明し、最適な η と資源配分を見つけるために二分探索を適用する。
• Lemmas 4-5 および Theorem 1 によって結合最適化を凸問題に還元する。
• 総訓練時間 T に対する二分法を用いた遅延最小化のための Algorithm 2 を提案する。

実験結果

リサーチクエスチョン

• RQ1 局所計算とアップリンク伝送資源を共同で最適化することにより、無線リンク上の federated learning の訓練遅延をどのように最小化できるか？
• RQ2 FL 遅延は learning accuracy に対して凸か、二分法で最適解を得られるか？
• RQ3 遅延制約の下での実現可能な資源配分の十分条件と必要条件は何か？
• RQ4 総遅延を最小化するために、帯域幅・電力・精度の最適化はどのようにトレードオフするか？

主な発見

• 総 FL 遅延は learning accuracy η の凸関数である。
• 二分法ベースのアルゴリズムにより、遅延最小化の最適解を得ることができる。
• 計算容量、帯域割り当て、送信電力の共同最適化は、参照スキームよりも遅延を低減する。
• シミュレーション結果は、提案手法が従来の FL 手法と比較して最大で遅延を 27.3% 減らすことができることを示している。