[論文レビュー] Acceleration of Federated Learning with Alleviated Forgetting in Local Training

Chencheng Xu, Zhiwei Hong+2 more|arXiv (Cornell University)|Mar 5, 2022

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿では、生成された擬似データおよび摂動を加えたデータを用いた正則化により、局所学習における深刻な忘却を軽減することで収束を加速する、新しいフェデレーテッドラーニングアルゴリズムであるFedRegを提案する。グローバルな知識を追加の通信を伴わずに合成データに埋め込むことで、FedRegは収束速度を向上させる。特に非i.i.d.データおよび深層アーキテクチャ下でも顕著であり、勾配逆転攻撃に対するプライバシー保護を最小限の性能低下で強化する。

ABSTRACT

Federated learning (FL) enables distributed optimization of machine learning models while protecting privacy by independently training local models on each client and then aggregating parameters on a central server, thereby producing an effective global model. Although a variety of FL algorithms have been proposed, their training efficiency remains low when the data are not independently and identically distributed (non-i.i.d.) across different clients. We observe that the slow convergence rates of the existing methods are (at least partially) caused by the catastrophic forgetting issue during the local training stage on each individual client, which leads to a large increase in the loss function concerning the previous training data at the other clients. Here, we propose FedReg, an algorithm to accelerate FL with alleviated knowledge forgetting in the local training stage by regularizing locally trained parameters with the loss on generated pseudo data, which encode the knowledge of previous training data learned by the global model. Our comprehensive experiments demonstrate that FedReg not only significantly improves the convergence rate of FL, especially when the neural network architecture is deep and the clients' data are extremely non-i.i.d., but is also able to protect privacy better in classification problems and more robust against gradient inversion attacks. The code is available at: https://github.com/Zoesgithub/FedReg.

研究の動機と目的

• 非i.i.d.データ分布下におけるフェデレーテッドラーニングの収束遅延、特に局所学習における深刻な忘却の原因を是正すること。
• 通信コストを増加させることなく、通信負荷を増やさずに収束速度を向上させること。
• 微分プライバシーに依存せずに、勾配逆転攻撃に対するプライバシー保護を強化すること。
• 分類タスクにおけるプライバシー漏洩に対する防御を維持しながら、高いモデル性能を達成すること。
• 微分プライバシーの代替手段として、通信効率が良く、プライバシーを保護する代替手法を提供すること。

提案手法

• FedRegはグローバルモデルと局所データから擬似データを生成し、過去の学習データの知識を保持する。
• 局所データに小さな制御された摂動を加えることで、摂動を加えたデータを導入し、学習の安定性を高め、局所データ分布との矛盾を軽減する。
• オリジナルの局所データに加え、擬似データおよび摂動を加えたデータ上で計算された勾配を用いて、局所モデルを正則化する。
• 2段階の最適化プロセスを用いる：まず、勾配を計算する際にゆっくり更新されるパラメータパスを用い、早期収束を防ぐ。
• 擬似データおよび摂動を加えたデータからの勾配を組み合わせることで、学習の安定性を高め、以前に学習した知識の忘却を軽減する。
• 本手法はグローバルモデルと局所データのみを必要とし、データ共有や標準フェデレーテッドラーニングを超える追加通信を一切行わない。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ下で、局所フェデレーテッドラーニングにおける深刻な忘却を効果的に軽減できるか。
• RQ2 グローバルモデルから生成された擬似データが、生のクライントデータを共有せずに十分な知識を保持できるか。
• RQ3 擬似データおよび摂動を加えたデータによる正則化は、標準のFedAvgや他のベースラインと比較して収束速度を向上させるか。
• RQ4 FedRegは微分プライバシーを上回るプライバシー保護を提供できるか。性能低下は最小限か。
• RQ5 FedRegの性能は、異なるニューラルネットワークの深さやデータの非i.i.d.度合いにどのように依存するか。

主な発見

• FedRegは、特に深層ニューラルネットワークおよび極度に非i.i.d.なデータ分布下で、フェデレーテッドラーニングの収束を顕著に加速する。
• 非i.i.d.なEMNISTおよびMNISTデータセットにおいて、FedRegは目標精度に到達するための通信ラウンド数を、FedAvgと比較して最大40％まで削減した。
• EMNISTにおいて、FedRegは0.986のテスト精度を達成した。これは、同程度のプライバシー保護レベル下でDPSGDを用いたFedAvg（0.882）およびFedProx（0.881）を上回った。
• COVID-19のCT画像分類タスクにおいて、FedRegはMGを用いて0.657の精度を達成した。これに対して、DPSGDを用いたFedAvgは0.570にとどまり、強いプライバシー保護下でも優れた性能を示した。
• 勾配逆転攻撃では、FedReg（MG）から回復された画像の品質が、DPSGDを用いたベースライン手法よりも著しく低く、より強いプライバシー保護が実現していることが示された。
• FedRegの性能は、学習率や正則化強度といったハイパーパrameterに敏感であり、通信ラウンド数を最小化する最適なバランスが存在する。