[論文レビュー] Fast-Convergent Federated Learning with Adaptive Weighting

Hongda Wu, Ping Wang|arXiv (Cornell University)|Dec 1, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用数 8

ひとこと要約

本稿では、局所的勾配とグローバル勾配のなす角度を用いて、参加ノードのグローバルモデル集約への寄与度に基づき、動的に重みを割り当てる高速収束型のフェデレーテッドラーニングアルゴリズムであるFedAdpを提案する。この角度に非線形写像を適用することで、負の寄与を動的に抑制し、正の寄与を強調し、MNISTでは最大54.1%、FashionMNISTでは最大45.4%の通信ラウンド削減を達成する。

ABSTRACT

Federated learning (FL) enables resource-constrained edge nodes to collaboratively learn a global model under the orchestration of a central server while keeping privacy-sensitive data locally. The non-independent-and-identically-distributed (non-IID) data samples across participating nodes slow model training and impose additional communication rounds for FL to converge. In this paper, we propose Federated Adaptive Weighting (FedAdp) algorithm that aims to accelerate model convergence under the presence of nodes with non-IID dataset. We observe the implicit connection between the node contribution to the global model aggregation and data distribution on the local node through theoretical and empirical analysis. We then propose to assign different weights for updating the global model based on node contribution adaptively through each training round. The contribution of participating nodes is first measured by the angle between the local gradient vector and the global gradient vector, and then, weight is quantified by a designed non-linear mapping function subsequently. The simple yet effective strategy can reinforce positive (suppress negative) node contribution dynamically, resulting in communication round reduction drastically. Its superiority over the commonly adopted Federated Averaging (FedAvg) is verified both theoretically and experimentally. With extensive experiments performed in Pytorch and PySyft, we show that FL training with FedAdp can reduce the number of communication rounds by up to 54.1% on MNIST dataset and up to 45.4% on FashionMNIST dataset, as compared to FedAvg algorithm.

研究の動機と目的

• エッジノードにおける非独立同分布（non-IID）データ分布下でのフェデレーテッドラーニングの収束遅延を解消すること。
• FedAvgがノードの寄与度に関係なく等しい重みを割り当てることによる制限を克服し、最適でない収束を回避すること。
• 通信効率を向上させるために、動的で寄与度に依存する重み付け戦略を開発すること。
• 理論的および実験的に、ノードの寄与度が勾配の整合性と相関しており、収束を加速するために活用可能であることを検証すること。

提案手法

• 各学習ラウンドにおいて、局所的勾配ベクトルとグローバル勾配ベクトルのなす角度のコサインを用いてノードの寄与度を測定する。
• 角度に基づく寄与度スコアを非線形写像関数に適用し、各ノードの動的重みに変換する。
• 計算された寄与度スコアに比例する重みを用いて、重み付き平均によるグローバルモデルの更新を行う。
• 非線形関数における調整可能なパラメータαを用いて、高寄与ノードと低寄与ノードの差を強調する。
• モデルアーキテクチャを変更せずに、標準的なフェデレーテッド平均化フレームワークに適応的重み付け戦略を統合する。
• データの非均一性の程度が異なる状況、すなわちIIDおよび非IIDノードが混在する状況を含め、評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 データの非均一性（非IID分布）は、フェデレーテッドラーニングの収束速度にどのように影響するか？
• RQ2 局所的データ分布とノードがグローバルモデル集約に与える寄与度との間には、どのような隠れた関係があるか？
• RQ3 勾配の整合性に基づく適応的重み付けは、FLにおける収束速度の向上と通信ラウンドの削減を実現できるか？
• RQ4 非線形写像関数のパラメータαの選択が、適応的重み付け戦略の性能にどのように影響するか？
• RQ5 提案手法は、FedAvgと比較して、モデルの分散と訓練損失をどの程度低減できるか？

主な発見

• 非IIDデータ設定下で、MNISTデータセットにおいてFedAdpはFedAvgと比較して通信ラウンドを最大54.1%削減した。
• FashionMNISTデータセットにおいて、FedAdpはFedAvgと比較して通信ラウンドを最大45.4%削減した。
• 高データスケイの非IIDノードが50%、IIDノードが50%の状況でも、FedAdpはより速い収束を達成した。
• 非線形写像関数のパラメータαを増加させることで、初期学習段階における収束速度が向上し、ノード寄与度の差が強調された。
• 実験結果から、FedAdpはノード間の勾配分散を低減しており、これは低い訓練損失と速い収束と相関している。
• 適応的重み付け戦略は正則化機構として機能し、歪んだデータで学習された局所モデルがグローバル方向から著しく逸脱することを防いでいる。