[論文レビュー] Federated Progressive Sparsification (Purge, Merge, Tune)+

Dimitris Stripelis, Umang Gupta+2 more|arXiv (Cornell University)|Apr 26, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FedSparsifyは、トレーニング中に低マグニチュードの重みを段階的に削除するシンプルで反復的なフェデレーテッドスプライシング手法であり、多様なフェデレーテッドラーニング環境において、精度を維持または向上させながら、モデルサイズを15倍小さくし、推論速度を4倍にし、通信コストを3倍削減する。

ABSTRACT

To improve federated training of neural networks, we develop FedSparsify, a sparsification strategy based on progressive weight magnitude pruning. Our method has several benefits. First, since the size of the network becomes increasingly smaller, computation and communication costs during training are reduced. Second, the models are incrementally constrained to a smaller set of parameters, which facilitates alignment/merging of the local models and improved learning performance at high sparsification rates. Third, the final sparsified model is significantly smaller, which improves inference efficiency and optimizes operations latency during encrypted communication. We show experimentally that FedSparsify learns a subnetwork of both high sparsity and learning performance. Our sparse models can reach a tenth of the size of the original model with the same or better accuracy compared to existing pruning and nonpruning baselines.

研究の動機と目的

• 精度を損なわず、モデルサイズと通信コストを削減する実用的で反復的なフェデレーテッドラーニングのプルーニング戦略を開発すること。
• 計算リソースとメモリリソースが限られた環境において、分散型で非IIDデータを扱う極めてスパースなニューラルネットワークのトレーニングという課題に対処すること。
• 今後のフェデレーテッドモデルのスプライシングに関する研究の強力でシンプルなベースラインを提供すること。
• プログレッシブプルーニングがフェデレーテッド環境における収束性とパフォーマンスに与える影響を評価すること。
• 反復的マグニチュードベースプルーニングが極端なスプライシティ領域において、ワンショットやダイナミックプルーニング手法を上回ることを実証すること。

提案手法

• FedSparsifyは、フェデレーテッドトレーニングラウンドの終了時に、反復的かつマグニチュードベースの非構造的プルーニングを適用し、最低マグニチュードの重みを削除する。
• この手法は、プルーニング、マージ（サーバーでのクライアントモデルの集約）、およびファインチューニング（ローカルデータでの再トレーニング）を段階的に繰り返すことで、順次的に進める。
• プルーニングは、グローバルモデルの集約戦略を用いてクライアント全体にわたって実施され、ネットワーク全体のスプライシティが一貫するように保証される。
• 複数のフェデレーションラウンドにわたりこのプロセスを繰り返し、段階的にスプライシティを増加させつつ、ファインチューニングによりモデルパフォーマンスを維持する。
• スプライシティは、ターゲットプルーニング比によって制御され、モデルは元のサイズの10％以下にまで削減される。
• このアプローチは、モデル集約とファインチューニングに標準的なフェデレーテッドアベレージ（FedAvg）を使用し、プルーニング後のパフォーマンス回復を図る。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける反復的かつマグニチュードベースのプルーニングは、高いスプライシティ（例：99％）を達成しながらも、モデルの精度を維持できるか？
• RQ2 通信効率および推論速度の観点から、プログレッシブプルーニングはワンショットまたはダイナミックプルーニングと比べてどう異なるか？
• RQ3 段階的プルーニングの正則化効果は、非IIDのフェデレーテッド環境における一般化性能を向上させるか？
• RQ4 FedSparsifyは、非プルーニングベースライン（例：FedAvg）よりもモデル効率性と通信コストの点で優れているか？
• RQ5 極端なスプライシティレベルにおけるグローバル戦略とローカル戦略のプルーニングの性能にどのような影響があるか？

主な発見

• FedSparsifyは平均してモデルサイズを15倍小さくし、99％のスプライシティを持つスパースモデルでも、密度モデルと比較して7～9％の精度損失にとどめる。
• 推論スループットは4倍向上し、CNNとVGGモデルではそれぞれ99％スプライシティで4倍および8倍の速度向上を達成する。
• 通信コストは、非プルーニングベースラインと比較して3倍削減され、1ラウンドあたり交換されるパラメータ数の減少によるものである。
• 100人のクライアントと非IIDデータを想定した環境では、FedSparsify-GlobalはFedSparsify-LocalおよびFedAvg や FedProx といった密度モデルベースラインを上回る性能を示す。
• ワンショットプルーニングにファインチューニングを組み合わせた手法は、99％スプライシティで一般化に失敗するが、FedSparsifyは段階的プルーニングにより性能を維持する。
• プログレッシブプルーニングの正則化効果は、データが乏しく非IIDな環境において特にモデルの一般化性能を向上させる。