[論文レビュー] Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity

Saeed Vahidian, Mahdi Morafah+1 more|arXiv (Cornell University)|May 2, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用数 5

ひとこと要約

本稿では、データ非独立同分布（non-IID）下でも効率的で高精度なパーソナライズを実現する、クライアント固有のサブネットワークを特定するためのハイブリッド（構造的および非構造的）プルーニングを用いる、パーソナライズドフェデレーテッドラーニングフレームワークSub-FedAvgを提案する。共有パラメータをプルーニングし、パーソナライズドなパラメータを保持することで、通信コストを最大10倍まで削減し、精度を損なわずに収束を加速する。CIFAR-10/100、MNIST、EMNISTの各データセットにおいて、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

The traditional approach in FL tries to learn a single global model collaboratively with the help of many clients under the orchestration of a central server. However, learning a single global model might not work well for all clients participating in the FL under data heterogeneity. Therefore, the personalization of the global model becomes crucial in handling the challenges that arise with statistical heterogeneity and the non-IID distribution of data. Unlike prior works, in this work we propose a new approach for obtaining a personalized model from a client-level objective. This further motivates all clients to participate in federation even under statistical heterogeneity in order to improve their performance, instead of merely being a source of data and model training for the central server. To realize this personalization, we leverage finding a small subnetwork for each client by applying hybrid pruning (combination of structured and unstructured pruning), and unstructured pruning. Through a range of experiments on different benchmarks, we observed that the clients with similar data (labels) share similar personal parameters. By finding a subnetwork for each client ...

研究の動機と目的

• 非独立同分布（non-IID）データ分布下におけるフェデレーテッドラーニングにおけるモデルパーソナライズの課題に取り組むこと。この状況下では、1つのグローバルモデルではクライアント間で一般化できない。
• 構造的および非構造的プルーニングによるモデル更新の圧縮を通じて、フェデレーテッドラーニングにおける通信オーバーヘッドを低減すること。この際、精度を損なわないようにする。
• クライアントが自身のパーソナライズドサブネットワークを通じてパフォーマンスを向上させることを可能にし、フェデレーテッドラーニングにおける参加意欲を高めること。
• クライアントがデータを共有する必要がなく、ラベル類似性の知識も不要な手法を開発すること。代わりに、内在的なデータ非独立同分布性を活用してパーソナライズドサブネットワークを同定する。

提案手法

• 本手法は、各参加者のクライアント固有サブネットワークを同定するために、構造的および非構造的プルーニングを組み合わせたハイブリッドプルーニング戦略を適用する。
• 非構造的プルーニングは、しきい値以下の個々の重みを削除するのに対し、構造的プルーニングは完全なフィルターやチャネルを削除することで、モデルサイズとFLOPsを削減する。
• サーバーは、各クライアントのサブネットワークに残存する非プルーニングパラメータのみを平均化する。このプロトコルをSub-FedAvgと呼ぶ。これにより通信効率が向上する。
• クライアントはローカルでモデルを学習し、サーバーに送信するのはプルーニング済みのパーソナライズドサブネットワークパラメータのみである。これにより通信量が削減される。
• このフレームワークは統計的非独立同分布性を利点として活用する。同様のデータ分布を持つクライアントは自然に類似したサブネットワークを形成するため、効果的なパーソナライズが可能になる。
• 本手法は、ラベル分布やクライアント同士の類似性に関する事前知識を必要とせず、実世界の展開に実用的である。

Figure 1: Test accuracy vs pruning percentage result of the proposed Sub-FedAvg (Un) on some sampled clients on LeNet-5 for CIFAR-10.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークは、クライアントがデータやラベル情報を共有する必要がなく、パーソナライズを効果的に行えるか？
• RQ2 非独立同分布データ下で、フェデレーテッドラーニングにおける通信コストを著しく削減しつつ、モデル精度を維持または向上させることは可能か？
• RQ3 ハイブリッドプルーニングによるサブネットワーク同定は、パーソナライズドフェデレーテッドラーニングにおいて収束を早め、FLOPsを低減できるか？
• RQ4 クライアント固有のサブネットワーク構造は、明示的な調整なしに、データ非独立同分布性から自然に出現する程度はどの程度か？

主な発見

• Sub-FedAvg (Un) は、100回の通信ラウンドでMNISTで99.5%、CIFAR-10で86%のテスト精度を達成し、同程度または少ないラウンド数でFedAvgや他のベースラインを上回った。
• 本手法は、先行研究と比較して、通信ラウンド数を2〜10倍まで削減した。CIFAR-10では、FedAvgと比較して約3倍の少ないラウンド数で収束した。
• 共通でないパーソナライズドでない重みをプルーニングすることで、効率的なサブネットワーク圧縮が実現され、通信コストが最大10倍まで削減された。
• LeNet-5では、FLOPsの約50%の削減が達成され、パラメータの38%の削減が主に全結合層および畳み込みフィルタのプルーニングによるものであった。
• 本手法は、モデルサイズと推論複雑性を顕著に低減しながらも、高い精度を維持した。これにより、効率性と有効性の両面で優れた性能を示した。
• 類似したデータ分布を持つクライアントは、類似したサブネットワークを形成した。これは、統計的非独立同分布性が、明示的な調整なしに自然なパーソナライズを可能にするという事実を裏付けた。

Figure 2: Average test accuracy result of the proposed Sub-FedAvg (Un) versus various average pruning percentages over all clients, on LeNet-5 for CIFAR-10, MNIST and EMNIST benchmarks.