[論文レビュー] DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training

Rongji Dai, Li Shen+3 more|arXiv (Cornell University)|Jun 1, 2022

Privacy-Preserving Technologies in Data被引用数 47

ひとこと要約

DisPFLは非IIDデータと異質なクライアント制約の下で、通信と計算を削減しつつ、各ユーザーの精度を向上させる分散型の個別化フェデレーテッド学習と分散スパース訓練を実現します。

ABSTRACT

Personalized federated learning is proposed to handle the data heterogeneity problem amongst clients by learning dedicated tailored local models for each user. However, existing works are often built in a centralized way, leading to high communication pressure and high vulnerability when a failure or an attack on the central server occurs. In this work, we propose a novel personalized federated learning framework in a decentralized (peer-to-peer) communication protocol named Dis-PFL, which employs personalized sparse masks to customize sparse local models on the edge. To further save the communication and computation cost, we propose a decentralized sparse training technique, which means that each local model in Dis-PFL only maintains a fixed number of active parameters throughout the whole local training and peer-to-peer communication process. Comprehensive experiments demonstrate that Dis-PFL significantly saves the communication bottleneck for the busiest node among all clients and, at the same time, achieves higher model accuracy with less computation cost and communication rounds. Furthermore, we demonstrate that our method can easily adapt to heterogeneous local clients with varying computation complexities and achieves better personalized performances.

研究の動機と目的

• 各クライアントの個別モデルを分散設定で学習することによりデータのヘテロogeneityに対応する。
• 永続的なスパースマスクと分散的ゴシップ型更新により通信・計算コストを削減する。
• 計算・メモリ・帯域幅が異なる多様なクライアント能力に対応する。
• スパースで個別化された分散モデルの一般化に関する理論的洞察を提供する。
• 標準ベンチマークでの一般的な非IIDパーティション下で性能を経験的に検証する。

提案手法

• グローバルなdenseモデル w とクライアント固有のマスク m_k を用いて、f(w, m1,...,mK) = (1/K) sum_k Fk(w ∘ mk) を最適化する個別化FLを定式化する。
• 各クライアントを capacity c_k に合わせて Erdos-Renyi Kernel から抽出した sparse mask で初期化する。
• 近隣ノード間のアクティブなウェイトの交差部分のみを集約する改良版ゴシップ平均を用いる。
• 計算を節約するため、固定マスクでローカルトレーニングを実行する。
• 個別化を高めるため、コサインアニーリングプルーニングと勾配情報に基づく回復で各クライアントのマスクを更新する。
• forwardおよびbackwardパスをアクティブ座標のみにマスキングすることで計算と通信の節約を保証する。

実験結果

リサーチクエスチョン

• RQ1 分散スパース訓練フレームワークは、非IIDFL設定において通信を削減しつつ個別化モデルを達成できるのか。
• RQ2 提案されたマスクベースの個別化は、分散的ゴシップ平均とどのように相互作用して精度と効率のバランスを取るのか。
• RQ3 Dis-PFLは計算・メモリ・通信の観点で異質なクライアント能力にどれだけ適応できるのか。
• RQ4 分散スパース個別化モデルの理論的一般化境界はどのようなものを確立できるのか。
• RQ5 標準データセット（CIFAR-10/100、Tiny-ImageNet）上の経験的結果は、様々なパーティションとトポロジー下でDis-PFLを中央集権/分散ベースラインより有利にするのか。

主な発見

Task	Methods	Dir Part Acc	Path Part Acc	Comm (MB)	FLOPS (1e12)
CIFAR-10	Local	61.55 ± 0.2	86.48 ± 0.2	-	8.3
CIFAR-10	FedAvg	78.07 ± 0.5	54.53 ± 0.6	446.9	8.3
CIFAR-10	FedAvg-FT	81.20 ± 0.5	84.96 ± 0.2	446.9	8.3
CIFAR-10	D-PSGD	79.02 ± 0.4	58.07 ± 0.5	446.9	8.3
CIFAR-10	D-PSGD-FT	83.90 ± 0.2	90.87 ± 0.2	446.9	8.3
CIFAR-10	Ditto	74.68 ± 0.2	87.73 ± 0.1	446.9	8.3
CIFAR-10	FOMO	64.68 ± 0.2	88.24 ± 0.1	446.9	8.3
CIFAR-10	SubFedAvg	76.70 ± 0.2	88.30 ± 0.2	278.8	4.7
CIFAR-10	Dis-PFL	85.70 ± 0.2	91.05 ± 0.2	223.4	7.0
CIFAR-100	Local	29.23 ± 0.2	52.46 ± 0.2	-	8.3
CIFAR-100	FedAvg	41.72 ± 0.5	33.24 ± 0.6	448.7	8.3
CIFAR-100	FedAvg-FT	49.19 ± 0.5	63.53 ± 0.7	448.7	8.3
CIFAR-100	D-PSGD	41.87 ± 0.4	35.42 ± 0.2	448.7	8.3
CIFAR-100	D-PSGD-FT	51.42 ± 0.4	67.24 ± 0.1	448.7	8.3
CIFAR-100	Ditto	38.26 ± 0.2	54.02 ± 0.3	448.7	8.3
CIFAR-100	FOMO	28.39 ± 0.1	52.74 ± 0.1	448.7	8.3
CIFAR-100	SubFedAvg	43.91 ± 0.2	60.67 ± 0.1	346.6	5.7
CIFAR-100	Dis-PFL	53.48 ± 0.3	68.64 ± 0.4	224.3	7.0
Tiny-Imagenet	Local	6.76 ± 0.2	17.68 ± 0.3	-	66.6
Tiny-Imagenet	FedAvg	12.30 ± 0.3	10.40 ± 0.3	450.7	66.6
Tiny-Imagenet	FedAvg-FT	14.80 ± 0.2	28.30 ± 0.2	450.7	66.6
Tiny-Imagenet	D-PSGD	12.13 ± 0.5	16.50 ± 0.4	450.7	66.6
Tiny-Imagenet	D-PSGD-FT	15.50 ± 0.3	28.60 ± 0.3	450.7	66.6
Tiny-Imagenet	Ditto	15.69 ± 0.2	24.55 ± 0.3	450.7	66.6
Tiny-Imagenet	FOMO	5.20 ± 0.4	9.39 ± 0.3	450.7	66.6
Tiny-Imagenet	SubFedAvg	12.18 ± 0.4	19.73 ± 0.5	290.9	40.2
Tiny-Imagenet	Dis-PFL	16.95 ± 0.4	31.71 ± 0.4	225.3	54.5

• Dis-PFLはDirichletおよびパスパーティション下でCIFAR-10, CIFAR-100, Tiny-Imagenetのテスト精度で中央集権および分散ベースラインを上回る。
• Dis-PFLは局所的な個別化精度（Path Part）を高く保ちつつ、ピア間通信（Comm）を低く抑え、FLOPsは同等以下または低い。
• 対象精度に到達するための通信ラウンド数を削減する効果があり、特にリング、FC、時間変化する接続といった制約付きトポロジーで顕著。
• 異なる容量を持つヘテロクライアントは、異なるスパース性マスクを割り当てることで対応でき、堅牢な性能を維持する。
• 学習されたスパースマスクはデータ分布と整合しており、クライアント間で解釈可能な類似性を示し、個別化の恩恵を支持する。