[論文レビュー] FedGAN: Federated Generative Adversarial Networks for Distributed Data

Mohammad Rasouli, Tao Sun+1 more|arXiv (Cornell University)|Jun 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 29

ひとこと要約

FedGANは、中間者を介して局所的な生成器と識別器を同期させることで、非i.i.d.かつプライバシー制約のあるデータソース上で通信効率の良いフェデレーテッド生成対抗ネットワークを提案する。この手法は、等時間スケール更新および2時間スケール更新の両方で収束を達成し、中央集権的GANの性能に匹敵するが、通信オーバーヘッドを低減する。MNIST、CIFAR-10、CelebA、および時系列エネルギーデータセットで検証された。

ABSTRACT

We propose Federated Generative Adversarial Network (FedGAN) for training a GAN across distributed sources of non-independent-and-identically-distributed data sources subject to communication and privacy constraints. Our algorithm uses local generators and discriminators which are periodically synced via an intermediary that averages and broadcasts the generator and discriminator parameters. We theoretically prove the convergence of FedGAN with both equal and two time-scale updates of generator and discriminator, under standard assumptions, using stochastic approximations and communication efficient stochastic gradient descents. We experiment FedGAN on toy examples (2D system, mixed Gaussian, and Swiss role), image datasets (MNIST, CIFAR-10, and CelebA), and time series datasets (household electricity consumption and electric vehicle charging sessions). We show FedGAN converges and has similar performance to general distributed GAN, while reduces communication complexity. We also show its robustness to reduced communications.

研究の動機と目的

• 分散型非i.i.d.データソース上で、厳密なプライバシー制約と通信制約のもとで正確なGANを訓練する課題に対処すること。
• クライアントと中央サーバー間のデータ交換を最小限に抑えることで、分散型GAN学習における通信複雑度を低減すること。
• データの非均質性と通信制限があるにもかかわらず、フェデレーテッド環境におけるGAN学習プロセスの収束を保証すること。
• エネルギーシステムのような時系列的かつプライバシー感受性の高いデータを扱う分野を含め、GANの応用をフェデレーテッドラーニング環境に拡張すること。
• 頻繁なパrameter交換を要する従来の分散型GANとは対照的に、理論的裏付けがあり通信効率の良い代替手法を提供すること。

提案手法

• 各データソースに局所的な生成器と識別器を配置し、定期的な同期の前に局所データ上で独立に訓練する。
• 中間者サーバーが、全クライアントに定期的に平均化されたグローバル生成器および識別器パラメータを集約してブロードキャストする。
• 標準的な仮定の下で収束を保証するため、確率的近似と通信効率の良い確率的勾配降下法（SGD）を用いる。
• 2つの更新スキームを分析：等時間スケール更新と2時間スケール更新（TTUR）、両方とも非i.i.d.データ下で収束が証明されている。
• 生データを中央に集約しないことで、フェデレーテッドラーニングの原則を活用し、データプライバシーを保護する。
• MNIST、CIFAR-10、CelebA、および時系列データで性能最適化を図るため、各データセットに応じてハイパーパrameter（例：学習率、バッチサイズ、ネットワークアーキテクチャ）を調整する。

実験結果

リサーチクエスチョン

• RQ1 通信制限がある分散クライアント上で非i.i.d.データを用いた学習において、フェデレーテッドGANフレームワークは収束を達成できるか？
• RQ2 FedGANの通信効率は、中央集権的GANまたは頻繁に同期される分散型GANと比べてどの程度優れているか？
• RQ3 通信頻度を低くした場合、FedGANは生成品質と学習安定性をどの程度維持できるか？
• RQ4 画像データおよび時系列データを含む多様なデータタイプに対して、プライバシー制約のもとでFedGANは効果的に適用可能か？
• RQ5 非i.i.d.環境下で、等時間スケール更新ルールと2時間スケール更新ルールの両方において、FedGANの理論的収束保証は成立するか？

主な発見

• FedGANは、確率的近似と通信効率の良いSGDに基づく理論的証明のもと、等時間スケール更新および2時間スケール更新の両方で収束を達成する。
• MNIST、CIFAR-10、CelebAでは、通信頻度が低くても、中央集権的GANと同等の品質のサンプルを生成する。
• 家庭用電力およびEV充電時系列データの実験では、非i.i.d.データ分布がある中でも、複雑な時間的パターンを効果的に学習する。
• 通信頻度を低くした場合でも、FedGANは安定した学習と高品質な生成を維持し、同期間隔K=10からK=3000の範囲で強い耐性を示す。
• クライアントと中央サーバー間で頻繁なパラメータ交換を要する従来の分散型GANと比較して、通信複雑度を顕著に低減する。
• 実験的結果から、単一の中央生成器を備えたベースライン分散型GANに比べ、FedGANは通信効率と収束安定性の両面で優れていることが示された。