[論文レビュー] Boosting Federated Learning Convergence with Prototype Regularization

Yu Qiao, Huy Q. Le+1 more|arXiv (Cornell University)|Jul 20, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、クラスプロトタイプに基づく正則化を導入することで、非IID設定における収束速度の向上と精度の向上を実現するフェデレーテッドラーニングフレームワーク、FedPRを提案する。クライアントは局所的にクラスプロトタイプを計算し、サーバーがそれらを統合してグローバルプロトタイプを形成する。その後、このグローバルプロトタイプをL2距離の最小化を用いて局所学習に正則化に用いることで、MNISTではFedAvgより3.3%、Fashion-MNISTでは8.9%高いテスト精度を達成する。

ABSTRACT

As a distributed machine learning technique, federated learning (FL) requires clients to collaboratively train a shared model with an edge server without leaking their local data. However, the heterogeneous data distribution among clients often leads to a decrease in model performance. To tackle this issue, this paper introduces a prototype-based regularization strategy to address the heterogeneity in the data distribution. Specifically, the regularization process involves the server aggregating local prototypes from distributed clients to generate a global prototype, which is then sent back to the individual clients to guide their local training. The experimental results on MNIST and Fashion-MNIST show that our proposal achieves improvements of 3.3% and 8.9% in average test accuracy, respectively, compared to the most popular baseline FedAvg. Furthermore, our approach has a fast convergence rate in heterogeneous settings.

研究の動機と目的

• クライアント間で非IIDなデータ分布が生じることによるモデル性能の低下という課題に対処すること。
• データプライバシーを損なわず、異種データ環境下でも収束速度とテスト精度を向上させること。
• グローバルクラスプロトタイプを活用して、局所的モデル学習をガイドし、クライアント間での一般化性能を向上させること。
• 低複雑性でスケーラブルな正則化メカニズムを開発し、プロトタイプをフェデレーテッドトレーニングループに統合すること。

提案手法

• クライアントは、各クラスのトレーニングサンプルの平均埋め込みを用いて、局所的なクラスプロトタイプを計算する。
• サーバーは、すべてのクライアントのそれらの局所的プロトタイプを単純平均により集約し、各クラスごとのグローバルプロトタイプを形成する。
• グローバルプロトタイプはクライアントに送信され、局所的トレーニングにおけるL2距離損失を用いて正則化に使用される。
• 局所的目的関数は、標準的な交差エントロピー損失とプロトタイプ正則化項を組み合わせたものである：$\mathcal{L}_{i}(\omega_{i}) = \mathcal{L}_{i}(\mathcal{F}(\omega;\boldsymbol{x}_{i}),y_{i}) + \ell_{2}(f_{e}(\omega_{e};\boldsymbol{x}_{i}) - \overline{y}_{j})$。
• モデルパラメータとグローバルプロトタイプは、同期ラウンドを伴うFedAvgスタイルの通信スキームに従って反復的に更新される。
• フレームワークは4層のCNNを用いて実装され、強い非IID状態を模擬するため、ディリクレ分布に基づくデータスプライシング（$\alpha = 0.05$）を用いてテストされた。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースの正則化は、非IIDフェデレーテッドラーニング環境下で収束速度とテスト精度を向上させることができるか？
• RQ2 グローバルプロトタイプを局所的トレーニングに統合することで、異種データを持つクライアント間でのモデル一般化性能にどのような影響を与えるか？
• RQ3 強いデータスプライシング下で、提案手法はFedAvgに比べて精度と収束速度の両面で優れているか？
• RQ4 多数のクライアントにわたるプロトタイプ集約が、顕著な通信オーバーヘッドを伴わず、効率的に計算可能か？

主な発見

• MNISTでは、$\alpha = 0.05$のデータスプライシング下で、FedPRは平均94.62%のテスト精度を達成し、FedAvgの91.57%より3.3%高い。
• Fashion-MNISTでは、同じ条件下でFedPRは平均86.05%のテスト精度に達し、FedAvgの79.04%より著しく8.9%高い。
• 提案手法は、通信ラウンドごとのテスト精度の安定化が早いことから、FedAvgに比べてより速い収束速度を示している。
• プロトタイプ正則化機構は、フェデレーテッド環境下でのクラス不均衡やデータの非同一性に起因する性能低下を効果的に緩和している。
• アルゴリズムの複雑性が低く、実世界のフェデレーテッドシステムへの実装に適している。
• グローバルプロトタイプを正則化子として用いることで、局所的表現を共有で集約されたクラス構造に一致させることで、モデルの一般化性能が向上している。