[論文レビュー] FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation

Ming‐Hui Chen, Meirui Jiang+3 more|arXiv (Cornell University)|Jul 20, 2023

AI in cancer detectionComputer Science被引用数 3

ひとこと要約

FedSoupは、フェデレーテッドラーニングにおける選択的モデル補間手法を提案し、クライアント固有のグローバルモデルプールを維持することで、一般化とパーソナライゼーションの両方を向上させる。時間的モデル選択とフェデレーテッドモデルパッチングにより、追加の推論コストなしに、分布外一般化性能を顕著に向上させる平坦な最小値を達成する。

ABSTRACT

Cross-silo federated learning (FL) enables the development of machine learning models on datasets distributed across data centers such as hospitals and clinical research laboratories. However, recent research has found that current FL algorithms face a trade-off between local and global performance when confronted with distribution shifts. Specifically, personalized FL methods have a tendency to overfit to local data, leading to a sharp valley in the local model and inhibiting its ability to generalize to out-of-distribution data. In this paper, we propose a novel federated model soup method (i.e., selective interpolation of model parameters) to optimize the trade-off between local and global performance. Specifically, during the federated training phase, each client maintains its own global model pool by monitoring the performance of the interpolated model between the local and global models. This allows us to alleviate overfitting and seek flat minima, which can significantly improve the model's generalization performance. We evaluate our method on retinal and pathological image classification tasks, and our proposed method achieves significant improvements for out-of-distribution generalization. Our code is available at https://github.com/ubc-tea/FedSoup.

研究の動機と目的

• データ分布のシフト下でのクロスシロフェデレーテッドラーニングにおいて、局所的パーソナライゼーションとグローバル一般化のトレードオフを解消すること。
• 局所的パーソナライズドFLモデルにおける過学習を克服し、鋭い最小値と分布外性能の低さを改善すること。
• 再訓練を必要とせず、通信効率が良く、1回のトレーニングセッションでモデルスープをフェデレーテッド環境に適応する方法を開発すること。
• 履歴のグローバルモデルとローカル更新の補間を通じて、平坦な最小値を求める手法により、モデルのロバスト性を向上させること。
• 推論コストやメモリオーバーヘッドを増加させることなく、分布内および分布外の両方のデータで高いパフォーマンスを維持すること。

提案手法

• フェデレーテッドトレーニング中に、ローカル検証性能に基づいてクライアント固有の履歴グローバルモデルプールを維持する。
• 高パフォーマンスのグローバルモデルを特定するためのグリーディな時間的モデル選択戦略を適用し、損失関数の異なる基底領域にあるモデルを回避する。
• 選択されたグローバルモデルとローカルモデルを補間して、「スープ」を構築し、パーソナライズドで一般化されたモデルを形成する。
• フェデレーテッドモデルパッチングを導入：ローカルモデルをグローバルモデルスープと補間することで、パーソナライゼーションとグローバルパフォーマンスのバランスを取る。
• 中核となるヘシアン固有値の中央値を推定するためのパワー反復法を用い、最小値の平坦さを定量的に測定する。
• 複数回の再トレーニングや高い通信コストを必要としない、1回の実行内での異なるトレーニングエポックからのモデルを用いた、フェデレーテッドラーニングに適応したモデルスープの原則（高パフォーマンスモデルの重み平均化）を活用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、データの非独立同分布性が生じる状況下で、局所的パーソナライゼーションとグローバル一般化のパフォーマンスのトレードオフを引き起こす要因は何か？
• RQ2 モデル補間をどのように活用することで、フェデレーテッド環境下で平坦な最小値を達成し、一般化性能を向上させられるか？
• RQ3 異なるトレーニングエポックからのモデルを、選択的に補間することで、パーソナライゼーションと分布外一般化性能の両方を向上させられるか？
• RQ4 複数回の再トレーニングや高い通信コストを伴わず、モデルスープ技術をフェデレーテッドラーニングに適応する方法は何か？
• RQ5 FedSoupは、限られたローカルデータにおける過学習をどの程度軽減し、グローバルパフォーマンスを維持できるか？

主な発見

• Camelyon17病理データセットにおける未観測ドメイン一般化において、FedAvgと比較してAUCが2.87ポイント向上した。
• 網膜フンダスデータセットでは、分布外一般化で86.24%の精度を達成し、FedBABU（85.09%）とFedProx（85.18%）を1.05ポイント以上上回った。
• 損失関数の平坦さを示す中央値支配ヘシアン固有値が低く抑えられ、平坦な最小値であることが裏付けられた。
• FedSoupは、高いローカルパフォーマンス（85.71%の精度）を維持しながら、優れたグローバルパフォーマンス（96.00%の精度）を達成し、ベースライン手法よりも優れたローカル-グローバルのトレードオフを実現した。
• 実験全体でより高い安定性を示し、例えばRetinaデータセットのグローバルAUCの分散は0.43（FedAvgは0.83）であった。
• 性能向上は、網膜フンダスのような小さなデータセットで顕著に現れ、限られたローカルデータによる過学習の軽減効果が裏付けられた。