[论文解读] Lipizzaner: A System That Scales Robust Generative Adversarial Network Training

Tom Schmiedlechner, Ignavier Ng Zhi Yong+3 more|arXiv (Cornell University)|Nov 30, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 11

一句话总结

Lipizzaner 是一个分布式的开源系统，通过使用具有双自适应生成器和判别器种群的空间协同进化算法，实现可扩展的鲁棒 GAN 训练。通过采用基于网格的通信结构，并在邻域基础上进行本地训练与模型交换，该系统有效防止了模式崩溃和判别器崩溃，实现了在更大网格尺寸下的生成性能提升，以及在 AWS 集群上的线性通信扩展。

ABSTRACT

GANs are difficult to train due to convergence pathologies such as mode and discriminator collapse. We introduce Lipizzaner, an open source software system that allows machine learning engineers to train GANs in a distributed and robust way. Lipizzaner distributes a competitive coevolutionary algorithm which, by virtue of dual, adapting, generator and discriminator populations, is robust to collapses. The algorithm is well suited to efficient distribution because it uses a spatial grid abstraction. Training is local to each cell and strong intermediate training results are exchanged among overlapping neighborhoods allowing high performing solutions to propagate and improve with more rounds of training. Experiments on common image datasets overcome critical collapses. Communication overhead scales linearly when increasing the number of compute instances and we observe that increasing scale leads to improved model performance.

研究动机与目标

• 通过可扩展的分布式系统解决 GAN 训练中长期存在的模式崩溃和判别器崩溃挑战。
• 通过将竞争性协同进化算法与空间网格抽象相结合，实现鲁棒且高性能的 GAN 训练。
• 评估网格尺寸对分布式训练环境中 GAN 性能和可扩展性的影响。
• 通过分布式实例之间高效的异步数据交换，实现线性通信扩展和更短的墙钟训练时间。

提出的方法

• 系统采用空间网格抽象，每个网格单元托管一个本地 GAN 对（生成器和判别器），实现本地化训练与通信。
• 采用双种群协同进化框架，其中生成器和判别器种群根据邻近单元中的相对适应度自适应演化。
• 相邻单元异步交换高性能模型，促进优秀解在网格中的传播，无需集中协调。
• 算法使用随机梯度下降进行神经网络参数更新，并使用基于高斯分布的变异实现超参数自适应。
• 通过重叠邻域和虚拟重叠网络优化通信，降低峰值网络负载，并实现与实例数量成线性关系的扩展。
• 系统作为开源软件在 AWS 上实现，使用 Docker 容器和 GPU 实例进行分布式训练。

实验结果

研究问题

• RQ1 分布式协同进化框架能否有效防止 GAN 训练中的模式崩溃和判别器崩溃？
• RQ2 增加空间网格尺寸如何影响 GAN 生成样本的多样性与质量？
• RQ3 通信开销是否随分布式训练实例数量的增加而线性增长？
• RQ4 通过高效的并行化和异步通信，系统能否实现更短的墙钟训练时间？
• RQ5 基于网格的模型交换对 GAN 训练的收敛性和稳定性有何影响？

主要发现

• 在 MNIST 上，更大的网格尺寸（最高至 12×12）显著降低了总变差距离（TVD），表明样本多样性与分布覆盖能力得到改善。
• 在 MNIST 上，12×12 网格生成的图像在各类别间分布最为均匀，优于较小网格和单实例训练。
• 在 CelebA 上，4×4 网格实现了 30.59±1.03 的 Fréchet Inception 距离（FID），与更小网格相比性能无显著下降，表明其在大规模下的稳定性。
• 在 AWS 上，每轮训练时间随实例数量近乎线性扩展，平均实例间通信仅耗时 0.5 秒（千兆以太网环境）。
• 即使在最小网格尺寸（2×2）下，系统在 CelebA 上也成功防止了模式崩溃和判别器崩溃，表现出强鲁棒性。
• 异步通信模式降低了网络峰值负载，实现了对分布式 GPU 资源的高效利用。