[論文レビュー] FedGroup: Ternary Cosine Similarity-based Clustered Federated Learning Framework toward High Accuracy in Heterogeneous Data.

Moming Duan, Duo Liu+5 more|arXiv (Cornell University)|Oct 14, 2020

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

FedGroup は、最適化方向の三値コサイン類似度に基づいてクライアントをクラスタリングすることで、非IIDおよび不均衡なデータ設定におけるモデルの精度を向上させる新しいフェデレーテッドラーニングフレームワークである。サブ最適化と FedProx との統合により、FedAvg や FedProx と比較して、FEMNIST では +14.7% の絶対的テスト精度向上、Sentiment140 では +5.4% の向上を達成した。

ABSTRACT

Federated Learning (FL) enables the multiple participating devices to collaboratively contribute to a global neural network model while keeping the training data locally. Unlike the centralized training setting, the non-IID and imbalanced (statistical heterogeneity) training data of FL is distributed in the federated network, which will increase the divergences between the local models and global model and further degrade the performance. In this paper, we propose a novel federated learning framework FedGroup based on a similarity-based clustering strategy, in which we 1) group the training of clients based on the similarities between the clients' optimize directions; 2) reduce the complexity of high-dimension low-sample size (HDLSS) parameter updates data clustering by decomposing the direction vectors to derive the ternary cosine similarity. FedGroup can achieve improvements by dividing joint optimization into groups of sub-optimization, and can be combined with FedProx, the state-of-the-art federated optimization algorithm. We evaluate FedGroup and FedGrouProx (combined with FedProx) on several open datasets. The experimental results show that our proposed frameworks significantly improving absolute test accuracy by +14.7% on FEMNIST compared to FedAvg, +5.4% on Sentiment140 compared to FedProx.

研究の動機と目的

• 非IIDおよび不均衡なデータがグローバルモデルの性能を低下させるという、フェデレーテッドラーニングにおける統計的非均質性の課題に対処する。
• 類似した最適化方向を持つクライアントをグループ化することで、ローカルモデルとグローバルモデルの乖離を低減する。
• 高次元・小標本サイズのパラメータ更新のクラスタリングにおいて、ベクトル分解を用いて計算複雑性を低減する。
• クライアント間でのデータ共有を必要とせずに、フェデレーテッドラーニングにおけるテスト精度を向上させる。
• FedProx などの既存の最先端アルゴリズムと互換性を持たせ、性能を向上させる。

提案手法

• クライアントの最適化方向ベクトルのコサイン類似度に基づいて、類似した学習ダイナミクスを持つグループを形成するためのクライアントクラスタリングを行う。
• 方向ベクトルの分解を用いて三値コサイン類似度を導入し、次元削減と計算コストの低減を実現する。
• 各クラスタ内で連合最適化を実行し、グローバルモデルからの乖離を最小化する。
• 高次元パラメータ更新を低次元成分に分解することで、HDLSS 環境下でのクラスタリングを簡素化する。
• FedGroup を FedProx と統合して FedGrouProx を構築し、クラスタリングの利点とプロキシ正則化を組み合わせる。
• クライアントのグループ化を活用してサブ最適化を実現し、グローバルモデル収束の全体的な複雑性を低減する。

実験結果

リサーチクエスチョン

• RQ1 最適化方向の類似度に基づくクライアントのクラスタリングは、データ非均質性下でのフェデレーテッドラーニング性能を向上させることができるか？
• RQ2 三値コサイン類似度は、高次元・小標本サイズのパラメータ更新のクラスタリングにおいて、計算複雑性をどのように低減するか？
• RQ3 FedAvg や FedProx と比較して、FedGroup は非IIDデータセットにおいてどれほどテスト精度を向上させるか？
• RQ4 FedGroup を FedProx と統合することで、統計的非均質性の処理にどれほど効果的か？
• RQ5 類似度ベースのクラスタリングによるクライアントグループ化は、ローカルモデルとグローバルモデルの乖離をどれほど低減するか？

主な発見

• FedGroup は、FedAvg と比較して FEMNIST データセットで +14.7% の絶対的テスト精度向上を達成した。
• FedProx と統合された FedGrouProx は、FedProx と比較して Sentiment140 データセットで +5.4% の絶対的テスト精度向上を達成した。
• 三値コサイン類似度手法は、高次元パラメータ更新のクラスタリングにおける計算複雑性を効果的に低減した。
• 最適化方向の類似度に基づくクライアントグループ化は、非均質なデータ環境下でローカルモデルとグローバルモデルの乖離を顕著に低減した。
• FedGroup はデータ共有を回避することでプライバシーを保持しながらも、高い性能を維持した。
• このフレームワークは、FedProx などの既存のフェデレーテッド最適化アルゴリズムと互換性があり、アーキテクチャの大幅な見直しを伴わずに性能向上が可能である。