[論文レビュー] Fairness and Accuracy in Federated Learning

Wei Huang, Tianrui Li+3 more|arXiv (Cornell University)|Dec 18, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用数 36

ひとこと要約

論文は FedFa を提案する。フェデレーテッド学習アルゴリズムで、二重モーメンタムと公正性を考慮した重み付け戦略により、異質なクライアント間の収束速度と公正性を向上させる。

ABSTRACT

In the federated learning setting, multiple clients jointly train a model under the coordination of the central server, while the training data is kept on the client to ensure privacy. Normally, inconsistent distribution of data across different devices in a federated network and limited communication bandwidth between end devices impose both statistical heterogeneity and expensive communication as major challenges for federated learning. This paper proposes an algorithm to achieve more fairness and accuracy in federated learning (FedFa). It introduces an optimization scheme that employs a double momentum gradient, thereby accelerating the convergence rate of the model. An appropriate weight selection algorithm that combines the information quantity of training accuracy and training frequency to measure the weights is proposed. This procedure assists in addressing the issue of unfairness in federated learning due to preferences for certain clients. Our results show that the proposed FedFa algorithm outperforms the baseline algorithm in terms of accuracy and fairness.

研究の動機と目的

• データの異質性と限られた通信の下で、連邦学習の公正性と精度の課題を動機づけて対処する。
• クライアント側とサーバー側の両方で収束を加速させる二重モーメント勾配フレームワークを導入する。
• 集約時に不公平さを減らすため、訓練精度から導出される情報量に基づくウェイト戦略を開発する。
• 合成データと実データセット上で FedFa をベースラインと比較評価し、収束と公正性の改善を示す。

提案手法

• クライアント側とサーバー側の両方で二重モーメント勾配降下を導入し、収束を加速し通信ラウンドを減らす。
• サーバー側のモーメントは、過去の勾配を反映するために b ラウンドごとに更新される近似グローバル勾配（連続するグローバルモデルの差分）を使用する。
• クライアント側モーメントはローカルモデル更新に標準モーメントを適用する。
• 訓練精度（Acc_inf）と参加頻度（f_inf）に基づく正規化済み情報量を組み合わせて重み付け戦略を提案する。
• Acc_inf = -log2(Acc)（ゼロ対応の小さな定数を入れる） and f_inf = -log2(1-f)（小さな定数を入れる）を計算し、各々を正規化し、weight_i = alpha * Acc_inf + beta * f_inf（alpha + beta = 1）と形成する。
• weight_i を用いて更新を集約し、次にグローバルモデルへサーバーのモーメントを適用する。

実験結果

リサーチクエスチョン

• RQ1 FedFa は非IIDかつ巨大なフェデレーテッドネットワークにおいて、FedAvg や FedProx と比較して収束速度と安定性を向上させられるか？
• RQ2 Accuracy と参加頻度に基づく重み付けを統合することで、公平性の課題に関連する格差を低減しつつ、全体の精度を維持または向上できるか？

主な発見

データセット	手法	平均	最悪 20％	最高 20％	分散
Synthetic_iid	FedAvg	89.11%	78.17%	100.00%	68.04
Synthetic_iid	FedProx	71.92%	55.46%	86.09%	129.09
Synthetic_iid	FedFa	85.70%	71.46%	100.00%	98.74
Synthetic_0_0	FedAvg	54.67%	6.81%	98.18%	1112.46
Synthetic_0_0	FedProx	75.02%	37.21%	100.00%	611.10
Synthetic_0_0	FedFa	78.25%	43.41%	100.00%	530.27
Synthetic_0.5_0.5	FedAvg	40.24%	0.00%	98.18%	1448.46
Synthetic_0.5_0.5	FedProx	67.84%	33.60%	100.00%	618.00
Synthetic_0.5_0.5	FedFa	73.30%	41.27%	100.00%	464.81
Synthetic_1_1	FedAvg	54.78%	1.38%	96.85%	1069.37
Synthetic_1_1	FedProx	64.75%	9.72%	100.00%	1088.87
Synthetic_1_1	FedFa	76.88%	37.03%	100.00%	603.69
Femnist	FedAvg	70.96%	34.77%	100.00%	567.75
Femnist	FedProx	72.20%	40.50%	100.00%	449.83
Femnist	FedFa	77.96%	48.99%	100.00%	368.93
Sent140	FedAvg	68.51%	40.58%	93.22%	356.48
Sent140	FedProx	64.71%	34.02%	92.65%	431.89
Sent140	FedFa	68.83%	42.66%	95.71%	319.04

• FedFa は IID および非 IID の合成データセットと実データセットの両方で、FedAvg および FedProx よりも収束が速く安定している。
• クライアント側とサーバー側の二重モーメントが非均質性をより適切に処理し、グローバル収束を加速する。
• 提案された重み付け戦略は、デバイス間の最終精度の分散を低減し、多くの非 IID 設定でワースト・20％およびベスト・20％デバイスの精度を改善する。
• 非 IID の増加するデータで、基準法と比較して FedFa は平均精度が高く分散が小さいことを示す（具体的な数値はデータセット依存）。
• 実データセット（MNIST、FEMNIST、Shakespeare、Sent140）では、FedFa は収束挙動と公正性指標でベースラインを上回り、いくつかのケースでワーストケースと全体の性能が改善される。