[論文レビュー] Synthetic data shuffling accelerates the convergence of federated learning under data heterogeneity

Bo Li, Yasin Esfandiari+3 more|arXiv (Cornell University)|Jun 23, 2023

Privacy-Preserving Technologies in Data参考文献 54被引用数 4

ひとこと要約

本稿では、データの非同一性下でフェデレーテッドラーニングの収束を加速するために、クライアント間で局所的に生成された合成データをシャッフルするフレームワークであるFedssynを提案する。理論的にシャッフルが勾配の類似性を二次的に、通信ラウンドを非線形的に減少させることを証明することで、データプライバシーを損なわずに集中学習に近い性能を達成している。

ABSTRACT

In federated learning, data heterogeneity is a critical challenge. A straightforward solution is to shuffle the clients' data to homogenize the distribution. However, this may violate data access rights, and how and when shuffling can accelerate the convergence of a federated optimization algorithm is not theoretically well understood. In this paper, we establish a precise and quantifiable correspondence between data heterogeneity and parameters in the convergence rate when a fraction of data is shuffled across clients. We prove that shuffling can quadratically reduce the gradient dissimilarity with respect to the shuffling percentage, accelerating convergence. Inspired by the theory, we propose a practical approach that addresses the data access rights issue by shuffling locally generated synthetic data. The experimental results show that shuffling synthetic data improves the performance of multiple existing federated learning algorithms by a large margin.

研究の動機と目的

• データシャッフルと収束速度の間の明確で定量的な関係を、データ非同一性下のフェデレーテッドラーニングにおいて確立すること。
• 実データの代わりに局所的に生成された合成データを用いることで、データシャッフルに伴うプライバシー懸念を解決すること。
• 既存のフェデレーテッドラーニングアルゴリズムと互換性があり、即座に利用可能な実用的フレームワークを開発すること。
• 合成データシャッフルが多様な設定において収束速度とモデル精度を向上させることを経験的に検証すること。

提案手法

• 理論的分析により、データの一部（割合p）をシャッフルすると、勾配の類似性が二次的に減少し、通信ラウンドが非線形的に減少することを証明した。
• Fedssynを提案：各クライアントは自らのデータ上で局所的な生成器を訓練し、合成サンプルを生成する。その後、サーバーがそれらをシャッフルして再配布する。
• 合成データのシャッフルは初期段階でのみ一度実行され、フェデレーテッドラーニングの学習中は追加の調整やデータ転送を一切必要としない。
• このフレームワークは任意のFLアルゴリズムと互換性があり、実データの共有を回避するためプライバシーを保持する。
• 経験的評価では、DDPMおよびGANベースの生成器を用いて合成データを生成し、トップ1正答率と通信ラウンドを指標として性能を測定した。
• 強い凸性および非凸性（DNNベース）の両設定において、理論的収束境界の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 データ非同一性下でのFedAvgにおいて、クライアント間でデータの一部をシャッフルすることは、収束速度にどのように定量的に影響を与えるか？
• RQ2 実データシャッフルがもたらす収束の利点を再現しつつ、データプライバシーを保持できるか、合成データシャッフルは可能か？
• RQ3 合成データの品質と分布の一致度が、FL性能に与える影響は何か？
• RQ4 シャッフルされる合成データの割合が、収束速度における確率的ノイズと勾配の類似性に与える影響は何か？
• RQ5 理論的に予測された勾配類似性の低減が、通信効率および正答率の測定可能な向上にどのように対応するか？

主な発見

• データの一部（割合p）をシャッフルすると、勾配の類似性が二次的に減少し、必要な通信ラウンド数が非線形的に減少する。これは、ラウンド数がpより大きい要因で減少することを意味する。
• p = 0.06のとき、Fedssynは勾配類似性を50%低減し、ベースラインと比較してトップ1正答率を20%向上させた。
• p = 0.5のとき、モデルはIIDベースラインを上回るトップ1正答率を達成し、高い非同一性下でもほぼ最適な性能を示した。
• 有効な確率的ノイズは(1−p)σ²が支配的であるため、シャッフルによりノイズが未シャッフル部分に比例して低減することが示された。
• 経験的結果により、合成データシャッフルにより確率的ノイズと関数類似性の両方が低減することが確認され、理論的予測と整合した。
• DDPMベースの生成器は、FLの収束を改善する高品質な合成データを生成する点で、GANベースの代替手法を上回った。