[論文レビュー] Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape

Yan Sun, Li Shen+3 more|arXiv (Cornell University)|May 19, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

FedSMOOは、連邦学習においてSharpness-Aware Minimizationを用いた動的正則化フレームワークを組み合わせ、グローバル一貫性とグローバル一般化を実現し、非iidデータ上で速いO(1/T)収束と一般化能力の向上を達成します。

ABSTRACT

In federated learning (FL), a cluster of local clients are chaired under the coordination of the global server and cooperatively train one model with privacy protection. Due to the multiple local updates and the isolated non-iid dataset, clients are prone to overfit into their own optima, which extremely deviates from the global objective and significantly undermines the performance. Most previous works only focus on enhancing the consistency between the local and global objectives to alleviate this prejudicial client drifts from the perspective of the optimization view, whose performance would be prominently deteriorated on the high heterogeneity. In this work, we propose a novel and general algorithm { tfamily FedSMOO} by jointly considering the optimization and generalization targets to efficiently improve the performance in FL. Concretely, { tfamily FedSMOO} adopts a dynamic regularizer to guarantee the local optima towards the global objective, which is meanwhile revised by the global Sharpness Aware Minimization (SAM) optimizer to search for the consistent flat minima. Our theoretical analysis indicates that { tfamily FedSMOO} achieves fast $\mathcal{O}(1/T)$ convergence rate with low generalization bound. Extensive numerical studies are conducted on the real-world dataset to verify its peerless efficiency and excellent generality.

研究の動機と目的

• 連邦学習におけるクライアントドリフトと非iidデータの課題を、ローカルとグローバルの目的を整合させて解決する。
• グローバルな平坦な最小値探索を通じて、FLの最適化性能と一般化を向上させる。
• 非凸設定下で高速収束と強い一般化境界を達成するスケーラブルなアルゴリズムを開発する。
• 提案手法の理論的収束性と一般化保証を提供する。

提案手法

• FedSMOOを提案し、グローバルSAM目的を最適化しつつ、局所サブ問題をグローバルモデルとの一貫性を維持するよう制約する。
• 局所モデルをグローバル目的と整合させるダイナミック正則化子（ADMMスタイル）を使用し、全クライアント間でw_i = wを強制する拡張ラグランジアンを導入する。
• グローバルSAM内最大化を近似するため、ADMM様手法で反復的に精練される補助的なグローバル摂動sを導入する。
• globally 推定された摂動に導かれた局所更新に対して修正されたSAMステップを適用し、一貫した平坦な最小値を促進する。
• ペナルティを伴う局所拡張ラグランジアンを用いて内側最大化を近似し、s_i, mu_i, sの交互更新の後に全体を集約して解く。
• 滑らかな非凸設定におけるO(1/T)収束速度と、グローバル関数の一般化境界を示す収束解析を提供する。

Figure 2: Distribution across category on CIFAR-10 of sampling with $/$ without replacement under the Dirichlet coefficient $u=0.1$ and the number of total clients $m=100$ . The standard deviation of the samples’ number approaches 829.14, which highly increases their imbalance and properly approxima

実験結果

リサーチクエスチョン

• RQ1 FedSMOOはデータセットのヘテロな性質の下で、グローバル目的がローカル目的と整合するまま高速収束を達成できるか。
• RQ2 正則化されたSAMフレームワークを介してグローバル一貫性とグローバル一般性を同時最適化すると、FLのグローバル損失景観がより平坦で一般化しやすくなるか。
• RQ3 滑らかな非凸連邦学習におけるFedSMOOの理論的収束性と一般化保証は何か。
• RQ4 FedSMOOは標準的な非iidベンチマークで、確立済みFL法やSAMベースの変種と比較して実証的にどう機能するか。

主な発見

• FedSMOOは、境界づけられた異質勾配を仮定せずに滑らかな非凸目的関数に対してO(1/T)収束速度を達成する。
• SAM摂動下でのグローバル関数の一般化境界を提供し、滑らかなグローバル損失景観をサポートする。
• CIFAR-10/100上の実証結果は、FedAvg、FedSAM、MoFedSAMなどのベースラインよりも、さまざまな非iid分割下で高い精度とより強い性能を達成することを示す。
• 提案されたダイナミック正則化とグローバル摂動の指針は、特に高ヘテロ性下で局所ドリフトを効果的に低減し、グローバルな一貫性と一般化を改善する。

(a) Dirichlet-0.6 on CIFAR-100.