[論文レビュー] Fusion of Global and Local Knowledge for Personalized Federated Learning

Tiansheng Huang, Li Shen+3 more|arXiv (Cornell University)|Feb 21, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、低ランクのグローバル知識表現（GKR）とスパースなパーソナライズドコンポーネントを融合する2段階のプロキシマルアルゴリズムであるFedSLRを提案する。モデルをコンactな低ランクグローバル成分とスパースなローカル成分に分解することで、FedSLRはパーソナライズドタスクにおいて最先端の性能を達成し、モデルパラメータを40.11%削減し、ダウンリンク通信量を38.34%削減する。また、理論的に静的点への非線形収束を保証する。

ABSTRACT

Personalized federated learning, as a variant of federated learning, trains customized models for clients using their heterogeneously distributed data. However, it is still inconclusive about how to design personalized models with better representation of shared global knowledge and personalized pattern. To bridge the gap, we in this paper explore personalized models with low-rank and sparse decomposition. Specifically, we employ proper regularization to extract a low-rank global knowledge representation (GKR), so as to distill global knowledge into a compact representation. Subsequently, we employ a sparse component over the obtained GKR to fuse the personalized pattern into the global knowledge. As a solution, we propose a two-stage proximal-based algorithm named extbf{Fed}erated learning with mixed extbf{S}parse and extbf{L}ow- extbf{R}ank representation (FedSLR) to efficiently search for the mixed models. Theoretically, under proper assumptions, we show that the GKR trained by FedSLR can at least sub-linearly converge to a stationary point of the regularized problem, and that the sparse component being fused can converge to its stationary point under proper settings. Extensive experiments also demonstrate the superior empirical performance of FedSLR. Moreover, FedSLR reduces the number of parameters, and lowers the down-link communication complexity, which are all desirable for federated learning algorithms. Source code is available in \url{https://github.com/huangtiansheng/fedslr}.

研究の動機と目的

• 非IIDデータ下でのパーソナライズドフェデレーテッドラーニング（PFL）において、グローバル知識表現とパーソナライズドパターン学習のバランスをとる課題に対処すること。
• パーソナライズドモデルを低ランクおよびスパース成分に分解することで、PFLにおけるモデルおよび通信の複雑さを低減すること。
• ローカルモデルの過剰パrameter化を回避しつつ、グローバル知識とパーソナライズド知識を最適に融合する手法を設計すること。
• グローバル知識表現とパーソナライズドコンポーネントの両方について、理論的に収束保証を確立すること。
• 実世界のFL設定において、優れた性能、パrameter効率、通信削減の実証的妥当性を検証すること。

提案手法

• パーソナライズドモデルの低ランクおよびスパース分解を提案し、グローバル成分を低ランク表現（GKR）とし、パーソナライズド成分をスパースとする。
• GKRとスパース成分に別々の正則化を適用し、コンパクトさと表現力の両立を促進する。
• グローバル成分とパーソナライズド成分を交互に最適化する2段階のプロキシマルベースのアルゴリズム、FedSLRを導入する。
• 収束安定性を保証するため、適応的学習率を用いたプロキシマル更新ルールを採用する。
• 行列分解を用いてGKRおよび混合モデルを圧縮し、パラメータ数を削減する。
• ダウンリンクトラフィックを削減する通信効率の良いトレーニングメカニズムを設計し、圧縮されたGKRとスパース更新のみを送信する。

実験結果

リサーチクエスチョン

• RQ1 非IIDフェデレーテッド設定下で、低ランクグローバル知識表現（GKR）はクライアント間で共有される知識を効果的に捉えることができるか？
• RQ2 スパース成分は、パラメータ空間を支配しない範囲で、パーソナライズドパターンを効率的に表現できるか？
• RQ3 低ランクGKRとスパースパーソナライゼーションを融合させることで、既存のPFL手法よりも優れた性能が得られるか？
• RQ4 提案されたFedSLRアルゴリズムは、グローバル成分およびパーソナライズド成分の両方について、静的点への理論的収束を達成できるか？
• RQ5 この分解によって、どの程度モデル圧縮と通信効率が向上するか？

主な発見

• CIFAR-100において、GKRモデルはFedAvgより7.23%高い精度を達成し、優れたグローバル知識表現能力を示した。
• FedSLRの混合モデルは、パーソナライズドタスクにおいて、前回のSOTAであるDittoより3.52%高い精度を達成した。
• GKRモデルは、プリューニングを行わないベースラインと比較して50.40%のパラメータ削減を達成し、完全な混合モデルでは40.11%の削減を達成した。
• 圧縮されたモデル送信のおかげで、1ラウンドあたりダウンリンク通信量が38.34%削減された。
• 理論的分析により、適切な設定下でGKRの非線形収束およびスパース成分のそれぞれの静的点への収束が保証された。
• 実験的結果から、本手法はモデルおよび通信のオーバーヘッドを顕著に削減しながらも、高い性能を維持することが示された。