[论文解读] GANs Can Play Lottery Tickets Too

Xuxi Chen, Zhenyu Zhang+2 more|arXiv (Cornell University)|May 31, 2021

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 5

一句话总结

本文证明生成对抗网络（GANs）可表现出彩票机制，识别出稀疏子网络（胜出票），这些子网络在孤立训练时可达到完整模型的性能。通过迭代的权重大小与通道剪枝，作者在 GAN 中实现了最先进的压缩效果——尤其在 67–74% 的稀疏度下表现突出，同时表明判别器的初始化对胜出票的质量和跨任务可迁移性具有关键影响。

ABSTRACT

Deep generative adversarial networks (GANs) have gained growing popularity in numerous scenarios, while usually suffer from high parameter complexities for resource-constrained real-world applications. However, the compression of GANs has less been explored. A few works show that heuristically applying compression techniques normally leads to unsatisfactory results, due to the notorious training instability of GANs. In parallel, the lottery ticket hypothesis shows prevailing success on discriminative models, in locating sparse matching subnetworks capable of training in isolation to full model performance. In this work, we for the first time study the existence of such trainable matching subnetworks in deep GANs. For a range of GANs, we certainly find matching subnetworks at 67%-74% sparsity. We observe that with or without pruning discriminator has a minor effect on the existence and quality of matching subnetworks, while the initialization weights used in the discriminator play a significant role. We then show the powerful transferability of these subnetworks to unseen tasks. Furthermore, extensive experimental results demonstrate that our found subnetworks substantially outperform previous state-of-the-art GAN compression approaches in both image generation (e.g. SNGAN) and image-to-image translation GANs (e.g. CycleGAN). Codes available at https://github.com/VITA-Group/GAN-LTH.

研究动机与目标

• 探究彩票机制假设（LTH）是否适用于深度生成模型，特别是 GANs。
• 确定剪枝判别器对在 GAN 中寻找可训练子网络的影响，以及判别器权重初始化的作用。
• 评估所识别子网络在不同数据集和生成任务间的可迁移性。
• 通过结构化（通道）剪枝开发更高效的压缩流程，降低计算成本，同时保持或提升性能。
• 在效率和图像生成质量方面超越现有最先进的 GAN 压缩方法。

提出的方法

• 对多种 GAN 架构的生成器和判别器组件应用迭代权重大小剪枝（IMP），以识别稀疏子网络。
• 使用非结构化权重大小剪枝，在 SNGAN 和 CycleGAN 等多个 GAN 模型中，于 67–74% 的稀疏度水平下定位胜出票。
• 采用通道剪枝构建结构化子网络，减少参数量并加速推理，实现高效部署。
• 实施再训练流程，其中子网络使用相同的随机权重初始化并从头开始训练，以评估性能。
• 使用密集判别器作为知识蒸馏源，以提升通过剪枝发现的胜出票的质量。
• 通过在未见数据集（如 CIFAR-10、Tiny ImageNet）和多种 GAN 架构上测试子网络，评估其可迁移性。

实验结果

研究问题

• RQ1 GAN 中是否存在可训练的匹配子网络（胜出票），如彩票机制假设所预测？
• RQ2 剪枝判别器如何影响 GAN 中胜出票的存在性与性能？
• RQ3 判别器权重初始化在胜出票成功中的作用是什么？
• RQ4 通过剪枝发现的胜出票能否有效迁移到新数据集和生成任务？
• RQ5 结构化剪枝（通道剪枝）能否生成在效率与性能上超越现有最先进 GAN 压缩方法的子网络？

主要发现

• 在 67% 至 74% 的稀疏度下，GAN 中存在匹配子网络，SNGAN 在 73.8% 稀疏度下 FID 达 17.28，CycleGAN 在 79.0% 稀疏度下 FID 达 38.95。
• 剪枝判别器对胜出票的存在性或质量影响甚微，但判别器权重初始化对成功训练至关重要。
• 通过迭代权重大小剪枝识别的子网络优于随机剪枝和随机初始化的子网络，尤其在极端稀疏度下表现更优。
• 以密集判别器作为知识蒸馏源，可显著提升最终子网络的质量。
• 通过通道剪枝发现的胜出票达到最先进性能，在约 67% 稀疏度下，Inception Score 比 GAN Slimming (GS-32) 提高 0.25；在约 29% 稀疏度下提高 0.20。
• 胜出票具有强可迁移性：在某一数据集（如 CIFAR-10）上训练的子网络能良好泛化至其他数据集（如 Tiny ImageNet），在 DCGAN、WGAN-GP、ACGAN 和 AutoGAN 等多种 GAN 模型中均表现出一致的性能提升。