[論文レビュー] FedSoft: Soft Clustered Federated Learning with Proximal Local Updating

Yichen Ruan, Carlee Joe‐Wong|arXiv (Cornell University)|Dec 11, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

FedSoftは、混合データ分布に基づいて複数のクラスターモデルに貢献できるソフトクラスタリング型フェデレーテッドラーニングフレームワークを提案する。プロキシマル局所更新を用いることでクライアントの負荷を制限し、理論的収束保証と優れた性能を達成する。多様なデータミックスパターンにおいて、高品質なクラスターモデルおよびパーソナライズドモデルを実現する。

ABSTRACT

Traditionally, clustered federated learning groups clients with the same data distribution into a cluster, so that every client is uniquely associated with one data distribution and helps train a model for this distribution. We relax this hard association assumption to soft clustered federated learning, which allows every local dataset to follow a mixture of multiple source distributions. We propose FedSoft, which trains both locally personalized models and high-quality cluster models in this setting. FedSoft limits client workload by using proximal updates to require the completion of only one optimization task from a subset of clients in every communication round. We show, analytically and empirically, that FedSoft effectively exploits similarities between the source distributions to learn personalized and cluster models that perform well.

研究の動機と目的

• 従来のフェデレーテッドラーニングにおけるハードクラスタリングの制限（各クライアントが1つのデータ分布に属すると仮定）を解消し、混合データ分布に基づいてクライアントが複数のクラスターモデルに貢献できるようにすること。
• ソフトクラスタリング型フェデレーテッドラーニングにおけるクライアントの計算負荷を低減するために、プロキシマル局所更新を用いること。これにより、各通信ラウンドで最適化を実行するのはクライアントの一部に限定される。
• パーソナライズドモデルとクラスターモデルの共同訓練により、クラスターデータ分布間の構造的類似性を活用し、モデル性能を向上させること。
• 非IIDおよび混合データ設定下で、パーソナライズドモデルおよびクラスターモデルの両方について理論的収束保証を提供すること。

提案手法

• クライアントのデータが複数のソース分布の混合に従うソフトクラスタリング型フェデレーテッドラーニングを導入。これにより、従来のFLにおけるハードアサインメント仮定が緩和される。
• クライアントの最適化とグローバルモデルの集約を分離するために、プロキシマル局所更新を採用。これにより、各クライアントは通信ラウンドごとにたった1つの局所最適化タスクに限定される。
• 2種類のモデルを維持する：クライアントごとのパーソナライズドローカルモデルと、各分布ごとの共有クラスターモデル。これらは統一された最適化フレームワークを用いて共同で訓練される。
• 各クライアントが各クラスターモデルに与える寄与度を推定するために重要度重み付けを用いる。これにより、クライアントと潜在的な分布との正確な関連付けが可能になる。
• やや弱い仮定の下で、クラスターモデルおよびパーソナライズドモデルの両方についてグローバル収束を確立する収束解析フレームワークを適用。
• 類似した分布間での知識移譲を活用するために、クラスターモデルを共同で訓練。これにより汎化性能が向上し、訓練損失が低減される。

実験結果

リサーチクエスチョン

• RQ1 混合データ分布を有するソフトクラスタリング型フェデレーテッドラーニングは、従来のハードクラスタリング型FLに比べ、モデル精度および負荷効率において優れているか？
• RQ2 ソフトクラスタリング型フェデレーテッドラーニングにおいて、高品質なクラスターモデルおよびパーソナライズドモデルを維持しつつ、クライアントの負荷をどのように最小化できるか？
• RQ3 データ分布間の構造的類似性をどの程度活用できるか。これにより、フェデレーテッドラーニングにおける収束および性能がどのように向上するか？
• RQ4 FedSoftにおけるプロキシマル更新の使用は、非IIDおよび混合データ条件下で、クラスターモデルおよびパーソナライズドモデルの両方について安定な収束を保証するか？

主な発見

• FedSoftは、合成データおよび実世界のデータ（EMNIST letters）の両方で最先端の性能を達成。クラスターモデルのテストMSEは34.5、最良のセンターにおける正解率は72.3%で、ベースラインを上回る。
• 10:90ミックスパターンでは、FedSoftは平均90.9%のローカルモデル正解率と74.6%のクラスターモデル正解率を達成。IFCA（65.2%）およびFedEM（63.6%）を著しく上回る。
• 図2における重要度重み推定により、FedSoftは正しいクラスターモデルに高い重みを割り当てており、クラスターセンタが潜在的分布に対応していることが示された。
• 合成データにおける8分布ミックスでは、FedSoftは最低のテストMSE（例：θ0下でc5の57.6）を達成し、複雑なミックスパターンにおいても頑健であることが示された。
• 30:70ミックスパターンでは、局所ソルバーの解がやや不正確なため、最も悪い性能を示した。これは、バランスの取れたデータ分布が訓練安定性に与える影響を示している。
• FedSoftは、回転させたMNISTデータを含むすべてのミックスパターンで強力な性能を維持。クラスターモデル正解率は0°で71.5%、90°で71.7%であり、分布シフトに対しても一般化能力があることが示された。