[論文レビュー] Training Federated GANs with Theoretical Guarantees: A Universal Aggregation Approach

Yikai Zhang, Hui Qu+4 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 47被引用数 7

ひとこと要約

本稿では、局所的判別器のオッズ値に基づくアグリゲーションを用いて、非同一の局所的データ分布の混合を理論的に学習可能な、新しいフェデレーテッド GAN フレームワークである Universal Aggregation GAN (UA-GAN) を提案する。中央集権的な判別器をユニバーサルアグリゲーションによってシミュレートすることで、UA-GAN は目的の混合分布への理論的収束を保証し、非 i.i.d. および不均衡なデータセットにおいて、FID および IS スコアで顕著な向上を達成する。

ABSTRACT

Recently, Generative Adversarial Networks (GANs) have demonstrated their potential in federated learning, i.e., learning a centralized model from data privately hosted by multiple sites. A federatedGAN jointly trains a centralized generator and multiple private discriminators hosted at different sites. A major theoretical challenge for the federated GAN is the heterogeneity of the local data distributions. Traditional approaches cannot guarantee to learn the target distribution, which isa mixture of the highly different local distributions. This paper tackles this theoretical challenge, and for the first time, provides a provably correct framework for federated GAN. We propose a new approach called Universal Aggregation, which simulates a centralized discriminator via carefully aggregating the mixture of all private discriminators. We prove that a generator trained with this simulated centralized discriminator can learn the desired target distribution. Through synthetic and real datasets, we show that our method can learn the mixture of largely different distributions where existing federated GAN methods fail.

研究の動機と目的

• 局所的データ分布が施設間で著しく異なっている状況において、フェデレーテッド GAN を訓練する課題に対処すること。
• 平均後確率を用いることで生成器にバイアスが生じる既存手法（例：Avg-GAN や MD-GAN）の失敗を克服すること。
• 局所的判別器が最適でない場合でも、生成器が真の局所的分布の混合を学習することを保証する理論的に整合性のあるフレームワークを開発すること。
• オッズ値とジェンセン・ショーンァー・ダイバージェンスを用いて、最適でない判別器下での GAN 訓練の新しい理論的分析を提供すること。

提案手法

• 局所的判別器の後確率ではなく、オッズ値に基づいて勾配をアグリゲートするユニバーサルアグリゲーション機構を提案する。
• すべての局所的データソースにおける混合分布のオッズ比を近似することで、中央集権的判別器をシミュレートする。
• オッズ値に基づくフィードバックを用いてグローバル生成器を訓練し、共通パターンに偏らないように、目的の混合分布を学習することを保証する。
• 局所的判別器のオッズ値を用いてジェンセン・ショーンァー・ダイバージェンス損失を理論的に分析し、近似誤差のバウンディングを行うフレームワークを導入する。
• 生成器の近似誤差が、局所的判別器の非最適性に比例して線形に増大することを証明し、タイトなバウンディングを示す。
• クライアントとサーバー間で生データではなく勾配のみを交換する分散型トレーニングパイプラインに本手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 局所的判別器が異種のデータで訓練されている状況下で、フェデレーテッド GAN フレームワークが非同一の局所的データ分布の混合を理論的に学習できるか？
• RQ2 予測値ではなく局所的判別器のオッズ値をアグリゲートすることで、より正確でバイアスのない生成器が得られるか？
• RQ3 局所的判別器の非最適性能が、フェデレーテッド GAN における生成サンプルの品質にどのように影響するか？
• RQ4 現実的な非最適条件下で、生成器近似の理論的誤差バウンディングを導出し、それがタイトであることを示せるか？
• RQ5 非 i.i.d. および不均衡なデータセットにおいて、FID、IS、分類精度の観点から、UA-GAN は既存のフェデレーテッド GAN ベースライン（例：Avg-GAN、MD-GAN）を上回るか？

主な発見

• 50 サイトの非 i.i.d. MNIST+Fashion において、UA-GAN は Fréchet Inception Distance (FID) 53.26 を達成し、Avg-GAN (90.36) や MD-GAN (89.36) より顕著に低い値を示し、優れたサンプル品質を示した。
• 同じ設定において、UA-GAN は下流分類器で 62.6% の分類精度を達成し、Avg-GAN (48.9%) や MD-GAN (46.5%) より顕著に優れており、より良い特徴学習を示した。
• 不均衡な非 i.i.d. MNIST+Fashion において、UA-GAN は FID 30.30、精度 84.6% を達成し、Avg-GAN (FID: 74.45、精度: 49.7%) や MD-GAN (FID: 85.61、精度: 44.3%) を上回った。
• 非条件付き設定において、UA-GAN は非 i.i.d. MNIST+Fashion で IS 3.280 ± 0.022、FID 22.34 を達成し、MD-GAN (IS: 2.852、FID: 60.34) や Avg-GAN (IS: 4.068、FID: 61.56) を上回った。
• 理論的分析により、生成器の近似誤差が局所的判別器の非最適性に比例して線形に増大し、そのバウンディングがタイトであることが示された。これにより、フレームワークのロバスト性が裏付けられた。
• 実験的結果は、UA-GAN がすべての設定でより多様で現実的なサンプルを生成することを確認した。特に、従来手法が失敗する非 i.i.d. および不均衡な状況下で顕著な優位性を示した。