[论文解读] Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets

Aidin Ferdowsi, Walid Saad|arXiv (Cornell University)|Feb 1, 2020

Generative Adversarial Networks and Image Synthesis被引用 15

一句话总结

本文提出脑力激荡生成对抗网络（BGANs），一种完全分布式的多智能体生成对抗网络框架，使智能体通过仅共享生成的样本——而不交换真实数据集——协作学习数据分布。BGAN在FID（Fréchet Inception Distance）上相比FLGAN、MDGAN和F2U实现13%–38%的降低，达到当前最优性能，同时通过轻量级生成数据交换显著减少通信开销。

ABSTRACT

To achieve a high learning accuracy, generative adversarial networks (GANs) must be fed by large datasets that adequately represent the data space. However, in many scenarios, the available datasets may be limited and distributed across multiple agents, each of which is seeking to learn the distribution of the data on its own. In such scenarios, the agents often do not wish to share their local data as it can cause communication overhead for large datasets. In this paper, to address this multi-agent GAN problem, a novel brainstorming GAN (BGAN) architecture is proposed using which multiple agents can generate real-like data samples while operating in a fully distributed manner. BGAN allows the agents to gain information from other agents without sharing their real datasets but by ``brainstorming'' via the sharing of their generated data samples. In contrast to existing distributed GAN solutions, the proposed BGAN architecture is designed to be fully distributed, and it does not need any centralized controller. Moreover, BGANs are shown to be scalable and not dependent on the hyperparameters of the agents' deep neural networks (DNNs) thus enabling the agents to have different DNN architectures. Theoretically, the interactions between BGAN agents are analyzed as a game whose unique Nash equilibrium is derived. Experimental results show that BGAN can generate real-like data samples with higher quality and lower Jensen-Shannon divergence (JSD) and Fr\\`echet Inception distance (FID) compared to other distributed GAN architectures.

研究动机与目标

• 解决在数据分散于多个智能体且因隐私和通信限制无法共享原始数据集时，训练高质量GAN的挑战。
• 设计一种完全去中心化的GAN架构，消除对中心控制器或参数聚合器的需求。
• 使具有异构深度神经网络（DNN）架构的智能体能够通过共享生成样本协作提升数据生成质量。
• 在保持或提升样本质量的同时，最小化分布式GAN训练中的通信开销。
• 通过智能体交互的博弈论分析，建立理论收敛保证。

提出的方法

• BGAN引入一种多智能体GAN框架，其中每个智能体独立训练自己的生成器和判别器，仅使用本地可用的数据。
• 智能体通过称为“脑力激荡”的过程仅交换其生成的数据样本（而非真实数据），以共享信息并提升生成质量。
• 该框架被建模为智能体之间的非合作博弈，当智能体网络具有强连通性时，可推导出唯一的纳什均衡。
• 通信成本被最小化至𝒪(nb|x|)，其中n为智能体数量，b为批量大小，|x|为每个数据样本的大小，相比参数共享方法显著降低带宽。
• 该架构支持具有不同DNN架构的智能体，且无需超参数同步或集中式聚合器。
• 理论分析证明，在网络强连通的条件下，学习动态可收敛至唯一纳什均衡，确保各智能体间稳定的学习行为。

实验结果

研究问题

• RQ1 完全分布式的GAN框架能否在不共享私有真实数据集的前提下，使多个智能体生成高质量、逼真的数据样本？
• RQ2 在多智能体GAN训练中，如何在保持或提升样本质量的同时最大化通信效率？
• RQ3 BGAN智能体之间的去中心化交互会产生何种博弈论均衡结构？该均衡是否唯一且稳定？
• RQ4 BGAN在多大程度上能支持具有异构DNN架构和不同计算能力的智能体？
• RQ5 在FID和JSD指标上，BGAN相较于FLGAN、MDGAN和F2U等集中式或部分集中式的分布式GAN，性能如何？

主要发现

• 在MNIST数据集上，BGAN的FID比表现最佳的替代方法降低13%；在Fashion-MNIST和CIFAR-10上分别提升31%和38%。
• 在更复杂的CIFAR-10数据集上，BGAN相比次优的分布式GAN架构将FID降低38%，展现出卓越的样本质量。
• BGAN将通信开销降低至𝒪(nb|x|)，显著低于FLGAN（𝒪(n(|θg|+|θd|)))和MDGAN（𝒪(n(b|x|+|θd|)))，使其在带宽受限环境中尤为适用。
• 该框架对智能体故障具有鲁棒性，因其不依赖中心控制器；而FLGAN、MDGAN和F2U等系统在中心节点失效时会崩溃。
• BGAN支持具有不同DNN架构的智能体，且无需超参数对齐，使计算能力有限的智能体也能参与。
• 理论分析证实，当智能体网络强连通时，唯一纳什均衡存在，确保学习动态稳定且可收敛。