[論文レビュー] Achieving Personalized Federated Learning with Sparse Local Models

Tiansheng Huang, Shiwei Liu+4 more|arXiv (Cornell University)|Jan 27, 2022

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

この論文は、パーソナライズドマスクを用いたスパースな局所モデルを採用することで、通信量と計算コストを低く抑えつつ高い精度を達成する、パーソナライズドフェデレーテッドラーニングフレームワークであるFedSpaを提案する。スパースなまま訓練を継続する（スパースからスパースへのトレーニング）ことで、固定されたスパarsityレベルを維持し、局所ミニマイザーに𝒪(1/√T)の速度で収束する効率的でパーソナライズドなモデル更新を可能にする。

ABSTRACT

Federated learning (FL) is vulnerable to heterogeneously distributed data, since a common global model in FL may not adapt to the heterogeneous data distribution of each user. To counter this issue, personalized FL (PFL) was proposed to produce dedicated local models for each individual user. However, PFL is far from its maturity, because existing PFL solutions either demonstrate unsatisfactory generalization towards different model architectures or cost enormous extra computation and memory. In this work, we propose federated learning with personalized sparse mask (FedSpa), a novel PFL scheme that employs personalized sparse masks to customize sparse local models on the edge. Instead of training an intact (or dense) PFL model, FedSpa only maintains a fixed number of active parameters throughout training (aka sparse-to-sparse training), which enables users' models to achieve personalization with cheap communication, computation, and memory cost. We theoretically show that the iterates obtained by FedSpa converge to the local minimizer of the formulated SPFL problem at rate of $\mathcal{O}(\frac{1}{\sqrt{T}})$. Comprehensive experiments demonstrate that FedSpa significantly saves communication and computation costs, while simultaneously achieves higher model accuracy and faster convergence speed against several state-of-the-art PFL methods.

研究の動機と目的

• 異種のクライアントにわたる一般化に失敗する単一のグローバルモデルを抱える、フェデレーテッドラーニングにおける非IIDデータ分布の課題に対処すること。
• 密度モデルや動的スパarsityに依存する既存のパーソナライズドFL（PFL）手法が抱える高い通信および計算オーバーヘッドを克服すること。
• トレーニング中でも一定のスパarsityを維持することで、エッジデバイス上のメモリと計算コストを低減するPFLソリューションを開発すること。
• パーソナライゼーションとモデルパフォーマンスを保持しながら、スパースサブモデルの効率的な集約を可能にすること。
• 収束の理論的分析を行い、最先端のPFL手法と比較して、精度、速度、効率性の面で優れたパフォーマンスを実証的に検証すること。

提案手法

• グローバルモデルにパーソナライズドスパースマスクを適用することで、クライアント固有のスパースサブモデルを生成する、新しいスパースパーソナライズドフェデレーテッドラーニング（SPFL）問題定式化を導入すること。
• 各クライントがトレーニング全体を通して固定されたスパarsityレベルを維持するスパースモデルを保持・トレーニングする、PFLフレームワークであるFedSpaを設計すること。
• 局所勾配とデータに基づいて新しいパーソナライズドマスクを探索するための動的スパーストレーニング（DST）メカニズムを用いることで、モデルのパーソナライゼーションを確保すること。
• マスク更新時に勾配に基づく重み回復を適用し、上位-αₜの絶対値勾配成分を選択して、 pruning された重みを回復すること。
• サーバーでスパース勾配更新と新しいマスクを集約し、標準平均化を用いてグローバルモデルを更新すること。
• すべての局所モデルがトレーニング中もスパースのまま維持され、通信および計算のオーバーヘッドが最小限に抑えられることを保証すること。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、非IID環境下でも低通信・低計算コストを維持しながら、高いパーソナライズドパフォーマンスを達成できるか？
• RQ2 パーソナライズドマスクを用いたスパースからスパースへのトレーニングは、密度モデルベースラインと比較して、より速い収束と高い精度を達成するか？
• RQ3 勾配に基づく重み回復は、マスク再トレーニング中のモデルパフォーマンス向上にどの程度効果的か？
• RQ4 FedSpaを用いてトレーニングされたグローバルモデルは、特にデータの不均一性が顕著な状況下でも、標準的なFedAvgと同等のパフォーマンスを達成できるか？
• RQ5 マスク初期化戦略の影響は、異種データ環境下におけるFedSpaの最終的パフォーマンスにどのような影響を及えるか？

主な発見

• FedSpaは、1ラウンドあたり送信されるのはスパース勾配とマスクのみであるため、密度モデルベースラインと比較して通信オーバーヘッドを50%削減する。
• 非IID環境下で、FedSpaはFedAvgと比較して最大21.9%高いテスト精度を達成し、Dittoと比較しても4.4%高い精度を示す。
• 同じ精度に到達するまでに、FedSpaはFedAvgと比較して76.2%少ない通信ラウンドを要し、Dittoと比較しても38.1%少ないラウンド数を要する。
• FedSpaのマスク探索プロセス（DST）は、1ラウンドあたりの総壁時計時間の5%～20%に留まるため、実行時間のオーバーヘッドが最小限であることが示された。
• FedSpaにおける勾配に基づく重み回復（DST）は、ランダム回復と比較して、より速い収束とより高い最終的精度を実現する。
• 非IID環境下では、グローバルモデルのパフォーマンスがパーソナライズドモデルよりも著しく劣ることが確認され、データの偏りがある状況下ではサブネットワークがフルモデルを上回ることが示された。