[論文レビュー] Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets

Aidin Ferdowsi, Walid Saad|arXiv (Cornell University)|Feb 1, 2020

Generative Adversarial Networks and Image Synthesis被引用数 15

ひとこと要約

本稿では、プライバシー制約や通信制約がある複数のエージェントが、実データセットを共有せずに生成されたサンプルのみを共有することで、データ分布を共同で学習できる完全分散型のマルチエージェント GAN フレームワーク、Brainstorming Generative Adversarial Networks (BGAN) を提案する。BGAN は、FLGAN や MDGAN、F2U よりも 13–38% 低い Fréchet Inception Distance (FID) を達成し、状態を凌駕する性能を発揮する一方で、生成データの軽量な交換により通信オーバーヘッドを著しく削減する。

ABSTRACT

To achieve a high learning accuracy, generative adversarial networks (GANs) must be fed by large datasets that adequately represent the data space. However, in many scenarios, the available datasets may be limited and distributed across multiple agents, each of which is seeking to learn the distribution of the data on its own. In such scenarios, the agents often do not wish to share their local data as it can cause communication overhead for large datasets. In this paper, to address this multi-agent GAN problem, a novel brainstorming GAN (BGAN) architecture is proposed using which multiple agents can generate real-like data samples while operating in a fully distributed manner. BGAN allows the agents to gain information from other agents without sharing their real datasets but by ``brainstorming'' via the sharing of their generated data samples. In contrast to existing distributed GAN solutions, the proposed BGAN architecture is designed to be fully distributed, and it does not need any centralized controller. Moreover, BGANs are shown to be scalable and not dependent on the hyperparameters of the agents' deep neural networks (DNNs) thus enabling the agents to have different DNN architectures. Theoretically, the interactions between BGAN agents are analyzed as a game whose unique Nash equilibrium is derived. Experimental results show that BGAN can generate real-like data samples with higher quality and lower Jensen-Shannon divergence (JSD) and Fr\\`echet Inception distance (FID) compared to other distributed GAN architectures.

研究の動機と目的

• プライバシー制約や通信制約により、実データセットを共有できない複数のエージェントが、高品質な GAN を学習する課題に対処すること。
• 中央集権的なコントローラーやパラメータアグリゲーターを必要としない完全分散型 GAN アーキテクチャを設計すること。
• 異なる深層ニューラルネットワーク（DNN）アーキテクチャを持つエージェントが、共有された生成データを介して共同で生成品質を向上させること。
• 通信オーバーヘッドを最小限に抑えつつ、サンプル品質を維持または向上させること。
• エージェント間の相互作用をゲーム理論的分析により、収束保証を確立すること。

提案手法

• BGAN は、各エージェントが自らのジェネレータとディスクラミネーターを独立して学習するマルチエージェント GAN フレームワークを導入し、ローカルに利用可能なデータのみを用いる。
• エージェントは、実データではなく生成されたデータサンプルのみを交換する『ブレインスティング』と呼ばれるプロセスを通じて、情報を共有し、生成品質を向上させる。
• フレームワークはエージェント間の非協力的ゲームとしてモデル化され、エージェントネットワークの強い連結性の下で一意のナッシュ均衡が導出される。
• 通信コストは 𝒪(nb|x|) に抑えられ、ここで n はエージェント数、b はバッチサイズ、|x| は各データサンプルのサイズである。これは、パラメータ共有方式と比較して帯域幅を著しく削減する。
• アーキテクチャは、異なる DNN アーキテクチャを持つエージェントをサポートし、ハイパーパramータの同期や中央集権的なアグリゲーターを必要としない。
• 理論的分析により、エージェントネットワークが強く連結されている場合に一意のナッシュ均衡に収束することが証明され、エージェント間での安定した学習ダイナミクスが保証される。

実験結果

リサーチクエスチョン

• RQ1 プライベートな実データセットを共有せずに、完全分散型 GAN フレームワークが複数のエージェントが高品質で現実的なデータサンプルを生成できるか？
• RQ2 サンプル品質を維持または向上させつつ、マルチエージェント GAN 学習における通信効率を最大化する方法は何か？
• RQ3 BGAN エージェント間の分散型相互作用から生じるゲーム理論的均衡構造は何か？その均衡は一意的かつ安定的か？
• RQ4 BGAN は、異種の DNN アーキテクチャや異なる計算能力を持つエージェントをどの程度サポートできるか？
• RQ5 FID や JSD の観点から、BGAN の性能は FLGAN や MDGAN、F2U といった中央集権的または部分的に集中型の分散 GAN と比較してどの程度優れているか？

主な発見

• MNIST データセットでは、最良の代替手法よりも 13% 低い FID を達成し、Fashion-MNIST では 31%、CIFAR-10 では 38% の改善を示した。
• より複雑な CIFAR-10 データセットにおいて、BGAN は次善の分散 GAN アーキテクチャと比較して FID を 38% 減少させ、優れたサンプル品質を示した。
• 通信オーバーヘッドは 𝒪(nb|x|) にまで低減され、これは FLGAN (𝒪(n(|θg|+|θd|))) や MDGAN (𝒪(n(b|x|+|θd|))) と比較して顕著に低いものであり、帯域制限のある環境に最適である。
• 中央集権的なコントローラーに依存しないため、エージェントの障害に対しても堅牢である。これに対して FLGAN や MDGAN、F2U は中央ノードの障害によって機能を失う。
• 異なる DNN アーキテクチャを持つエージェントをサポートし、ハイパーパramータの整合性を必要としないため、計算能力が制限されたエージェントの参加が可能である。
• 理論的分析により、エージェントネットワークが強く連結されている場合に一意のナッシュ均衡が存在することが確認され、安定的かつ収束する学習ダイナミクスが保証された。