[论文解读] Balanced Training for Sparse GANs

Yite Wang, Jing Wu+2 more|arXiv (Cornell University)|Feb 28, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出 ADAPT，一种用于 GAN 的平衡动态稀疏训练方法，通过引入平衡比率（BR）来监控和控制训练过程中稀疏生成器与判别器之间的平衡。通过根据 BR 实时动态调整判别器的稀疏度，ADAPT 在将训练 FLOPs 降低至稠密基线 34.42% 的同时，实现了最先进（SOTA）的 FID 分数（例如，在 BigGAN-CIFAR10 上为 10.33），实现了高效且稳定的稀疏 GAN 训练。

ABSTRACT

Over the past few years, there has been growing interest in developing larger and deeper neural networks, including deep generative models like generative adversarial networks (GANs). However, GANs typically come with high computational complexity, leading researchers to explore methods for reducing the training and inference costs. One such approach gaining popularity in supervised learning is dynamic sparse training (DST), which maintains good performance while enjoying excellent training efficiency. Despite its potential benefits, applying DST to GANs presents challenges due to the adversarial nature of the training process. In this paper, we propose a novel metric called the balance ratio (BR) to study the balance between the sparse generator and discriminator. We also introduce a new method called balanced dynamic sparse training (ADAPT), which seeks to control the BR during GAN training to achieve a good trade-off between performance and computational cost. Our proposed method shows promising results on multiple datasets, demonstrating its effectiveness.

研究动机与目标

• 为解决 GAN 动态稀疏训练中的不稳定性与不平衡问题，其中生成器与判别器在训练过程中常出现失衡。
• 开发一种定量度量方法，用于衡量稀疏生成器与判别器之间的平衡，实现对训练过程的实时监控与控制。
• 提出一种方法，在训练过程中动态调整判别器的稀疏度，以维持最佳平衡，提升训练效率与性能。
• 在稀疏 GAN 训练中实现 FID 性能与计算成本之间的有利权衡。

提出的方法

• 引入平衡比率（BR），一种新颖的度量指标，用于量化稀疏 GAN 中生成器与判别器的相对强度。
• 将 BR 用作实时指标，以检测并缓解训练失衡，特别是在模式崩溃或过拟合的情况下。
• 提出 ADAPT（平衡动态稀疏训练），该方法根据 BR 反馈在训练过程中动态调整判别器的稀疏度与连接结构。
• 以较低计算开销定期计算 BR（假设其计算频率较低）。
• 在 CIFAR-10 与 TinyImageNet 上将 ADAPT 应用于 SNGAN 与 BigGAN 架构，并控制生成器与判别器的稀疏度水平。
• 通过消融研究与基线方法（例如，Static-Balance、SDST、RigL）的对比，验证 BR 与 ADAPT 的有效性。

实验结果

研究问题

• RQ1 在 GAN 训练过程中，如何对稀疏生成器与判别器之间的平衡进行定量测量？
• RQ2 稀疏 GAN 中训练失败或崩溃的原因是什么？平衡比率能否帮助识别此类失败模式？
• RQ3 能否通过使用平衡比率实时监控并调整判别器的稀疏度，来稳定稀疏 GAN 的训练？
• RQ4 ADAPT 是否在性能-计算权衡方面优于现有的 GAN 稀疏训练方法？

主要发现

• ADAPT 在 BigGAN-CIFAR10 上实现了最先进（SOTA）的 FID 分数 10.33，在 SNGAN-CIFAR10 上为 14.80，优于所有基线方法。
• 在 BigGAN-CIFAR10 数据集上，ADAPT（严格）在仅消耗稠密基线 34.42% FLOPs 的情况下，实现了 10.33 的 FID，显著降低了计算成本。
• 在 SNGAN-CIFAR10 上，ADAPT 在生成器密度为 10% 的情况下，将训练 FLOPs 降低至稠密基线的 24.23%，同时保持了具有竞争力的 FID 分数。
• 平衡比率（BR）在识别训练不稳定性（如模式崩溃和过拟合）方面非常有效，尤其是在判别器过强时。
• ADAPT 在多个数据集与不同稀疏度水平下，始终优于静态剪枝基线（如 Static-Balance、Static-Strong）与动态方法（如 SDST、RigL）。
• 该方法在不同生成器与判别器稀疏度设置下表现出强鲁棒性，ADAPT（严格）在 BigGAN-CIFAR10 上以 30% 生成器密度实现了 14.92 的 FID。