[論文レビュー] FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server

Hong Zhang, Ji Liu+4 more|arXiv (Cornell University)|Apr 25, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、共有された不感性サーバデータを用いてグローバルモデルを動的に更新し、階層別適応的プルーニングを適用することで、学習効率と精度を向上させる新規なフェデレーテッドラーニングフレームワーク、FedDUAPを提案する。非IIDデータ度に基づく動的サーバ更新と、各層ごとの適応的プルーニングを統合することで、最先端のベースラインと比較して最大4.8%高い精度、2.8倍速い収束速度、61.9%低い計算コストを達成する。

ABSTRACT

Despite achieving remarkable performance, Federated Learning (FL) suffers from two critical challenges, i.e., limited computational resources and low training efficiency. In this paper, we propose a novel FL framework, i.e., FedDUAP, with two original contributions, to exploit the insensitive data on the server and the decentralized data in edge devices to further improve the training efficiency. First, a dynamic server update algorithm is designed to exploit the insensitive data on the server, in order to dynamically determine the optimal steps of the server update for improving the convergence and accuracy of the global model. Second, a layer-adaptive model pruning method is developed to perform unique pruning operations adapted to the different dimensions and importance of multiple layers, to achieve a good balance between efficiency and effectiveness. By integrating the two original techniques together, our proposed FL model, FedDUAP, significantly outperforms baseline approaches in terms of accuracy (up to 4.8% higher), efficiency (up to 2.8 times faster), and computational cost (up to 61.9% smaller).

研究の動機と目的

• 非IIDデータと制限されたデバイスリソースによるフェデレーテッドラーニングにおける低学習効率と限界のあるモデル精度という二重の課題に対処する。
• データプライバシーを侵害せずに、サーバに保存された不感性データを活用して、グローバルモデルの収束性と精度を向上させる。
• モデル精度とデータの非IID度に基づいて、トレーニングステップを動的に調整する、動的サーバ更新メカニズムを構築する。
• 各層の次元と重要度に応じてプルーニング率を最適化する、階層別適応的プルーニング法を設計し、効率性と有効性のバランスを図る。
• 動的更新と適応的プルーニングを統合した統一フレームワークを構築し、通信コストと計算コストを大幅に削減しながら、高い精度を維持する。

提案手法

• グローバルモデルの精度とサーバデータの非IID度に基づいて、サーバでの集中学習ステップ数を動的に調整する、動的サーバ更新アルゴリズムであるFedDUを提案する。
• サーバデータとデバイスデータの間のデータ分布の乖離度を定量化するための非IID度メトリクスを導入し、動的更新の意思決定を支援する。
• 各層の構造的重要度と次元に基づいて、個別のプルーニング率を計算する階層別適応的モデルプルーニング法であるFedAPを設計する。
• 勾配に基づく重要度スコアを用いて、各層でどのニューロンやフィルタをプルーニングするかを決定し、精度損失を最小限に抑える。
• FedDUとFedAPを統合したFedDUAPを構築し、動的更新によりサーバデータを活用してグローバルモデルを精緻化し、通信前に適応的プルーニングでモデルサイズを削減する。
• 構造化プルーニングを適用してハードウェアアクセcelerationを可能にし、MFLOPsを削減しながらモデル性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 共有された不感性データを用いた動的サーバ更新は、フェデレーテッドラーニングにおける収束速度と精度を向上させることができるか？
• RQ2 サーバデータの非IID度は、フェデレーテッド環境における集中学習の有効性にどのように影響するか？
• RQ3 階層別適応的プルーニングは、一様または非構造的プルーニングと比較して、より優れた効率-精度トレードオフを達成できるか？
• RQ4 動的サーバ更新と適応的プルーニングの併用による、フェデレーテッドラーニングにおける学習効率、精度、計算コストへの総合的影響は何か？
• RQ5 提案されたフレームワークは、精度、速度、リソース効率の観点から、最先端のFL手法を上回ることができるか？

主な発見

• FedDUAPは、実世界のデータセット上でのCNNおよびResNetモデルにおいて、FedAvgや他のSOTAベースラインと比較して最大4.8%高い精度を達成する。
• 訓練時間はFedAvgと比較して最大2.8倍速くなり、データ共有ベースラインと比較して15.0倍の高速化を達成する。
• 計算コストはFedAvgと比較して最大61.9%低減され、ResNetモデルではMFLOPsが55.7%削減される。
• FedAPは、CNNでは平均37.8%、VGGでは平均72.0%のプルーニング率を達成し、プルーニングされていないFedAvgと比較して精度差は0.1%未満に抑えられる。
• VGGでは、プルーニングされたモデルがプルーニングされていないバージョンよりも0.4%高い精度を達成し、訓練時間は1.8倍速くなる。
• 動的更新と適応的プルーニングの組み合わせにより、FedDUAPは、収束速度および非IIDデータに対するロバストネスを含め、Hybrid-FL、IMC、PruneFLをすべての指標で上回る。