[論文レビュー] SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Clients in Federated Learning

Sixing Yu, Phuong Nguyen+4 more|arXiv (Cornell University)|Nov 29, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用数 5

ひとこと要約

SPATLは、顕著なモデルパラメータの選択的集約とクライアント固有の予測子による知識移譲を用いることで、非IIDかつ非均質な環境下での通信オーバーヘッドを低減し、学習の安定性を向上させるフェデレーテッドラーニングフレームワークを提案する。本手法は、最先端の手法と比較して通信コストを最大86.45%低減し、推論にかかるFLOPsを39.7%削減する。収束性と性能の面でも最先端手法を上回る。

ABSTRACT

Federated learning~(FL) facilitates the training and deploying AI models on edge devices. Preserving user data privacy in FL introduces several challenges, including expensive communication costs, limited resources, and data heterogeneity. In this paper, we propose SPATL, an FL method that addresses these issues by: (a) introducing a salient parameter selection agent and communicating selected parameters only; (b) splitting a model into a shared encoder and a local predictor, and transferring its knowledge to heterogeneous clients via the locally customized predictor. Additionally, we leverage a gradient control mechanism to further speed up model convergence and increase robustness of training processes. Experiments demonstrate that SPATL reduces communication overhead, accelerates model inference, and enables stable training processes with better results compared to state-of-the-art methods. Our approach reduces communication cost by up to $86.45\%$, accelerates local inference by reducing up to $39.7\%$ FLOPs on VGG-11, and requires $7.4 imes$ less communication overhead when training ResNet-20.

研究の動機と目的

• 頻繁なモデル重み送信に起因するフェデレーテッドラーニングにおける高い通信オーバーヘッドの課題に対処すること。
• 非IIDかつ非均質なクライアント環境における学習の安定性と収束性を向上させること。
• リソース制約のあるエッジデバイスで処理するパラメータ数を最小限に抑えることで、局所的な推論コストを低減すること。
• データの非均質性に対応するため、共有エンコーダからクライアント固有の予測子への効果的な知識移譲を可能にすること。
• 大規模な分散型AI展開に適したスケーラブルで効率的なフェデレーテッドラーニングフレームワークの開発

提案手法

• グラフニューラルネットワーク（GNNs）とマルチレイヤーパーセプトロン（MLPs）に基づく顕著なパラメータ選択エージェントを導入し、モデルエンコーダから最も重要なパラメータのみを送信する。
• モデルを共有エンコーダとクライアント固有の予測ヘッドに分解することで、ファインチューニングされた局所的予測子を介して非IIDデータへの知識移譲を可能にする。
• オンライン強化学習を用いて、各クライアントで顕著なパラメータ選択エージェントをファインチューニングし、局所的なデータ分布に適応させる。この際、オーバーヘッドは最小限に抑える。
• 局所的およびサーバー環境の両方で制御変数を用いた勾配制御メカニズムを実装し、勾配のずれを是正し、局所更新をグローバル最適化方向に一致させる。
• 強化学習エージェントの事前学習段階でモデル圧縮およびプルーニング技術を適用し、エッジデバイスへのデプロイに適した低推論コスト（V100上でのメモリ26 KB、0.36 ms）を確保する。
• 異なるモデルアーキテクチャ（例：ResNet-18、ResNet-56）において、事前学習済みの顕著なパラメータ選択エージェントを再利用することで転移学習を活用する。

実験結果

リサーチクエスチョン

• RQ1 顕著なパラメータの選択的集約が、モデルの精度を損なわせることなく、フェデレーテッドラーニングにおける通信コストを顕著に低減できるか？
• RQ2 クライアント固有の予測子を介した知識移譲は、非IIDかつ非均質なデータ分布におけるモデル性能の向上にどの程度効果的か？
• RQ3 エッジデバイス上で軽量な強化学習エージェントを効率的にファインチューニングでき、局所的なデータに適応した顕著なパラメータ選択を可能にするか？
• RQ4 勾配制御は、分散型かつ非IIDなフェデレーテッドラーニング環境において、学習の安定性と収束速度をどの程度向上させるか？
• RQ5 SPATLは、特に過大なパラメータ数を有するモデル（例：VGG、ResNet）において、どの程度の性能を発揮するか？

主な発見

• SPATLは、最先端の手法と比較して通信コストを最大86.45%低減し、ResNet-20では最大7.4倍の低減効果を示した。
• 本手法は、VGG-11において最大39.7%のFLOPs削減を達成し、エッジデバイスにおける推論効率を顕著に向上させた。
• クライアント固有の予測子を介した転移学習により、非転移学習ベースラインと比較してモデル精度が最大19.86%向上した。
• 勾配制御メカニズムにより学習が安定化し、特に勾配分散が大きい非IID環境下での収束速度が向上した。
• 事前学習済みの顕著なパラメータ選択エージェントは、約40回のRL更新サイクルで迅速に収束し、ファインチューニング後、ResNet-18やResNet-56など異なるアーキテクチャにおいても同等の性能を達成した。
• RLエージェントの推論コストは極めて低く（V100上でのメモリ26 KB、0.36 ms）、エッジデバイスへのデプロイが現実可能である。