[論文レビュー] FedGroup: Accurate Federated Learning via Decomposed Similarity-Based Clustering

Moming Duan, Duo Liu+5 more|arXiv (Cornell University)|Oct 14, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用数 6

ひとこと要約

FedGroupは、最適化方向の類似性に基づくクライアントクラスタリングフレームワークを提案する。この手法により、モデルの精度が向上し、HDLSSベクトル分解によって計算複雑度が低減され、新規クライアントのコールドスタートが可能になる。FEMNISTではFedProx比で+14.7%、Sentiment140では+5.4%のテスト精度向上を達成する。

ABSTRACT

Federated Learning (FL) enables the multiple participating devices to collaboratively contribute to a global neural network model while keeping the training data locally. Unlike the centralized training setting, the non-IID and imbalanced (statistical heterogeneity) training data of FL is distributed in the federated network, which will increase the divergences between the local models and global model, further degrading performance. In this paper, we propose a novel clustered federated learning (CFL) framework FedGroup based on a similarity-based client clustering strategy, in which we 1) group the training of clients based on the similarities between the clients' optimize directions for high training performance; 2) reduce the complexity of client clustering algorithm by decomposing the high-dimension low-sample size (HDLSS) direction vectors. 3) implement a newcomer device cold start mechanism based on the auxiliary global model for framework scalability and practicality. FedGroup can achieve improvements by dividing joint optimization into groups of sub-optimization, and can be combined with FedProx, the state-of-the-art federated optimization algorithm. We evaluate FedGroup and FedGrouProx (combined with FedProx) on several open datasets. The experimental results show that our proposed frameworks significantly improving absolute test accuracy by +14.7% on FEMNIST compared to FedAvg, +5.4% on Sentiment140 compared to FedProx.

研究の動機と目的

• クライアント間で非IIDかつアンバランスなデータが存在する状況における統計的非同一性の課題に対処する。
• 最適化方向が類似するクライアントをグループ化することで、ローカルモデルとグローバルモデルの乖離を低減する。
• 高次元・低サンプルサイズ（HDLSS）環境下でのクライアントクラスタリングの計算複雑度を低減する。
• 補助グローバルモデルを用いたコールドスタートメカニズムにより、実用的導入を可能にする。
• 共同最適化を部分最適化グループに分解することで、学習性能を向上させる。

提案手法

• クライアントの最適化方向ベクトル間のコサイン類似度に基づいてクラスタリングを行い、類似したモデル更新パターンを持つグループを形成する。
• 高次元・低サンプルサイズ（HDLSS）の方向ベクトルを低次元成分に分解することで、クラスタリングの複雑度を低減する。
• 各クライアントグループ内で部分最適化を適用し、グローバルモデルからの乖離を低減し、収束性を向上させる。
• 補助グローバルモデルを用いたコールドスタートメカニズムを統合し、新規クライアントを完全再トレーニングなしに初期化する。
• FedGroupをFedProxと統合してFedGrouProxを構築し、既存のFLフレームワークとの互換性を保ちつつ性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最適化方向の類似性に基づくクライアントクラスタリングは、統計的非同一性下でのフェデレーテッドラーニング性能をどのように向上させるか？
• RQ2 HDLSSベクトル分解は、フェデレーテッドクライアントグループ化におけるクラスタリング複雑度にどのような影響を及ぼすか？
• RQ3 補助グローバルモデルに基づくコールドスタートメカニズムは、動的フェデレーテッドネットワークにおけるスケーラビリティと実用性をどのように向上させるか？
• RQ4 クライアントを部分最適化クラスタにグループ化することで、グローバル共同最適化と比較して収束性とテスト精度にどのような影響を与えるか？
• RQ5 FedGroupは非IIDデータ上でFedProxとどの程度統合可能であり、さらなる性能向上を達成できるか？

主な発見

• FedGroupはFEMNISTデータセットにおいてFedAvg比で14.7%のテスト精度向上を達成した。
• FedGrouProxはSentiment140データセットにおいてFedProx比で5.4%の絶対的精度向上を達成した。
• 類似性に基づくクラスタリング戦略は、最適化方向が一致するクライアントをグループ化することで、ローカルモデルとグローバルモデルの乖離を効果的に低減した。
• HDLSSベクトル分解は、クラスタリング品質を損なわせることなく、クライアントクラスタリングの計算複雑度を顕著に低減した。
• コールドスタートメカニズムにより、補助グローバルモデルを用いて新規デバイスをフェデレーテッドシステムにシームレスに統合できるようになった。
• 本フレームワークはFedProxと互換性を保ち、実用的なフェデレーテッドラーニングデプロイメントにおける段階的性能向上を可能にした。