[論文レビュー] FedCBO: Reaching Group Consensus in Clustered Federated Learning through Consensus-based Optimization

José A. Carrillo, Nicolás García Trillos+2 more|arXiv (Cornell University)|May 4, 2023

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、クラスタリングされたフェデレーテッドラーニングにおける一貫性に基づく最適化フレームワークであるFedCBOを提案する。この手法は、明示的なクラスタ情報がなくても、グループ単位でのモデル収束を可能にする。ユーザーを相互作用する粒子としてモデル化し、平均場ダイナミクスを介してクラスタ固有の最小化点へ自己組織化することで、非i.i.d.なFL設定において最先端の手法を上回る性能を達成する。また、大人口極限における理論的収束保証も得られる。

ABSTRACT

Federated learning is an important framework in modern machine learning that seeks to integrate the training of learning models from multiple users, each user having their own local data set, in a way that is sensitive to data privacy and to communication loss constraints. In clustered federated learning, one assumes an additional unknown group structure among users, and the goal is to train models that are useful for each group, rather than simply training a single global model for all users. In this paper, we propose a novel solution to the problem of clustered federated learning that is inspired by ideas in consensus-based optimization (CBO). Our new CBO-type method is based on a system of interacting particles that is oblivious to group memberships. Our model is motivated by rigorous mathematical reasoning, including a mean field analysis describing the large number of particles limit of our particle system, as well as convergence guarantees for the simultaneous global optimization of general non-convex objective functions (corresponding to the loss functions of each cluster of users) in the mean-field regime. Experimental results demonstrate the efficacy of our FedCBO algorithm compared to other state-of-the-art methods and help validate our methodological and theoretical work.

研究の動機と目的

• ユーザーが未知の非重複クラスタに属し、データ分布が異質な状況下で、パーソナライズドモデルの学習を困難とする課題に対処すること。
• クラスタの識別情報が不要な状況下で、複数の非凸損失関数を同時に最適化する手法を開発すること。
• 平均場解析と大粒子極限における収束保証を用いて、提案手法に厳密な数学的基盤を構築すること。
• 通信量を最小限に抑えつつデータプライバシーを保持し、クラスタ内での一貫性を達成する実用的アルゴリズム—FedCBO—を設計すること。

提案手法

• 各粒子がユーザーのモデルパラメータを表すCBO型の相互作用粒子系を提案。粒子は確率的ダイナミクスに従い、クラスタ内での一貫性に向け進化する。
• 粒子系の平均場極限を導入。ユーザー数が増加するにつれ、粒子の経験的測度が、Fokker-Planck型PDEに従う決定的解に弱収束することを示す。
• クラスタ内の損失勾配の経験的平均と、グローバル最小化点の現在の推定値に引き寄せられる一貫性メカニズムを導入。クラスタラベルの明示的指定は不要。
• アルゴリズムで重み付き平均化集約ルール（式19）を採用。これによりロバストネスが向上し、クラスタ固有の最小化点への収束が可能になる。
• 平均場系の時間発展を分析。各クラスタの粒子が、対応するクラスタ損失関数のグローバル最小化点に収束することを証明。
• 弱収束とSkorokhodの定理を用いて、粒子系が平均場極限に収束することを確立。経験的測度が制限測度におけるデルタ関数にほとんど確実に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 一貫性に基づく最適化フレームワークは、ユーザーのグループメンバーシップを事前に知らない状況下でも、複数のクラスタ固有モデルを効果的に学習できるか？
• RQ2 提案された粒子系の平均場極限はどのように振る舞い、各クラスタの損失関数のグローバル最小化点への収束を保証するか？
• RQ3 有限粒子系の理論的収束挙動は何か？ また、平均場近似とはどのような関係にあるか？
• RQ4 非i.i.d.フェデレーテッドラーニング設定において、FedCBOアルゴリズムは最先端の手法と比較して、性能とロバストネスの面で優れているか？
• RQ5 平均化と一貫性メカニズムのおかげで、粒子ダイナミクス機構は敵対的攻撃に対して内蔵されたロバストネスを提供できるか？

主な発見

• FedCBOアルゴリズムは、特にグループ構造が未知で非i.i.i.d.データが存在する状況下で、既存の最先端手法を上回る性能を示す。
• 理論的分析により、ユーザー数が無限大に近づくにつれ、粒子系が確率的法則に従って決定的平均場極限に収束することが確認された。
• 平均場ダイナミクスにより、クラスタ内に存在する粒子は、クラスタ固有の損失関数のグローバル最小化点に一貫性を持って収束する。クラスタ情報が明示的に与えられていない状況でも同様である。
• 粒子の経験的測度が平均場解に確率的に収束することが確立され、収束速度は時間経過に伴いLevy-Prokhorov距離によって制御される。
• 本手法はデータの非均質性に対してロバストであり、非i.i.i.d.状況下でクラスタごとのパーソナライズドモデル学習を可能にし、グローバルモデル学習よりも性能が向上する。
• 理論的結果から、FedCBOは重み付き平均化集約メカニズムのおかげで、敵対的攻撃に対して内蔵された保護機能を有する可能性があると示唆される。