[論文レビュー] FedALA: Adaptive Local Aggregation for Personalized Federated Learning

Jianqing Zhang, Hua Yang+5 more|arXiv (Cornell University)|Dec 2, 2022

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

FedALAは、各クライントのローカル目的に基づいてグローバルモデルとローカルモデルを要素ごと・適応的にブレンドする、アダプティブローカルアグリゲーション（ALA）モジュールを提案する。この手法により、5つのベンチマークデータセットにおいてテスト精度が最大3.27%向上し、通信オーバーヘッドは最小限に抑えられ、既存のFLフレームワークへの応用範囲も広い。

ABSTRACT

A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.

研究の動機と目的

• ローカルモデル初期化の改善を通じて、統計的非同一性を是正する。関連するグローバルモデル情報を利用することを目的とする。
• 既存の個人化FL手法の限界を克服する。これらはすべてのグローバルモデルパラメータを均等に扱うか、高い通信オーバーヘッドを要する。
• コアFLトレーニングプロセスを変更せずに、クライントごとのローカル目的に適応する軽量で通信効率の良いモジュールを開発する。
• グローバルモデルから有用な情報を正確に要素ごとで捉えることで、ローカルモデルのパフォーマンスを向上させる。
• ALAモジュールが多様なFLおよび個人化FLベースラインに一般化可能であることを実証する。

提案手法

• ローカル損失勾配に基づいて、グローバルモデルとローカルモデルを要素ごと・実数値の重みでブレンドする、アダプティブローカルアグリゲーション（ALA）モジュールを導入する。
• 全ローカルデータセットを用いてALAモジュールを訓練し、初期化されたモデルをローカル目的に合わせ、初期段階からローカル損失を最小化する。
• 深層ニューラルネットワークの上位層にのみALAを適用することで、計算コストを削減しながらパフォーマンスを維持する。
• 標準的なFedAvg通信パターンを維持する——1ラウンドあたりグローバルモデルを1回ダウンロードし、ローカルモデルを1回アップロードする——通信オーバーヘッドを低く抑える。
• 既存のFLおよびpFLフレームワークに最小限の変更で統合可能であり、即座に性能向上を実現するプラグアンドプレイな仕組みを実現する。
• 主成分分析（PCA）を用いた可視化により、ローカルモデルの軌道を分析し、ローカルミニマへの更新方向の是正を実証する。

実験結果

リサーチクエスチョン

• RQ1 データ非同一性下で、グローバルモデルとローカルモデルのアダプティブで要素ごとのアグリゲーションは、個人化フェデレーテッドラーニングのパフォーマンス向上に寄与するか？
• RQ2 グローバルモデルから必要な情報のみを抽出することは、単純なグローバルモデル再利用に比べ、より良いローカルモデル収束をもたらすか？
• RQ3 ALAモジュールは、コアトレーニングプロセスを変更せずに、標準的および個人化FL手法に効果的に適用可能か？
• RQ4 クライント数の増加およびデータの非IID度の変動に対して、ALAはどのように性能を発揮するか？
• RQ5 ALAはローカルモデルの更新方向を是正し、ローカルミニマへの高速収束を実現するか？

主な発見

• FedALAは、5つのベンチマークデータセットにおいて、11の最先端の個人化FL手法を最大3.27%上回るテスト精度を達成した。
• 極めて非同一性の高い環境（例：Dirichlet β=0.5）でも、FedALAは安定したパフォーマンスを維持するが、多くのベースラインは著しく劣化する。
• 100人のクライントを想定した状況でも、FedALAの精度低下は1%未満に抑えられ、他のpFL手法に比べて優れたスケーラビリティを示した。
• FedAvgおよびFedProxにALAモジュールを適用することで顕著な精度向上が得られ、標準FLフレームワークへの広範な適用可能性を示した。
• ベースライン手法がすでに一般化特徴に重きを置いている場合でも、FedRepでは0.60%以上、FedPHPでは顕著な向上が見られた。
• 可視化により、ALAがローカルモデルの更新方向を是正し、グローバルモデルに引きずられるのではなく、ローカル損失最小値へと導くことが確認された。一方、FedAvgはグローバルモデルの影響を受けて誤った方向に更新されることがある。