[论文解读] GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework

Haotao Wang, Shupeng Gui+3 more|arXiv (Cornell University)|Aug 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 65被引用 8

一句话总结

本文提出 GAN Slimming (GS)，首个统一的优化框架，用于通过在单一极小化-极大化目标中联合优化模型蒸馏、通道剪枝和量化，实现生成对抗网络（GAN）的端到端压缩。该方法在 CartoonGAN 上实现了高达 47 倍的压缩率，且质量损失极小，优于仅使用单一压缩技术的最先进方法。

ABSTRACT

Generative adversarial networks (GANs) have gained increasing popularity in various computer vision applications, and recently start to be deployed to resource-constrained mobile devices. Similar to other deep models, state-of-the-art GANs suffer from high parameter complexities. That has recently motivated the exploration of compressing GANs (usually generators). Compared to the vast literature and prevailing success in compressing deep classifiers, the study of GAN compression remains in its infancy, so far leveraging individual compression techniques instead of more sophisticated combinations. We observe that due to the notorious instability of training GANs, heuristically stacking different compression techniques will result in unsatisfactory results. To this end, we propose the first unified optimization framework combining multiple compression means for GAN compression, dubbed GAN Slimming (GS). GS seamlessly integrates three mainstream compression techniques: model distillation, channel pruning and quantization, together with the GAN minimax objective, into one unified optimization form, that can be efficiently optimized from end to end. Without bells and whistles, GS largely outperforms existing options in compressing image-to-image translation GANs. Specifically, we apply GS to compress CartoonGAN, a state-of-the-art style transfer network, by up to 47 times, with minimal visual quality degradation. Codes and pre-trained models can be found at https://github.com/TAMU-VITA/GAN-Slimming.

研究动机与目标

• 为了解决在资源受限的移动设备上部署参数量庞大的 GAN 模型的挑战。
• 克服在结合多种压缩技术时 GAN 训练的不稳定性，这种不稳定性常导致性能崩溃。
• 开发一个统一的优化框架，联合优化多种压缩方法——蒸馏、剪枝和量化——用于 GAN。
• 证明联合优化显著优于对单一压缩技术进行启发式堆叠的性能。
• 通过高效、端到端的压缩，实现高质量 GAN 在移动设备上的实际部署。

提出的方法

• 将模型蒸馏、通道剪枝和量化整合到一个统一的优化目标中，该目标与 GAN 的极小化-极大化损失联合训练。
• 使用统一的可微分目标，实现对学生生成器在所有压缩技术上的端到端优化。
• 对通道剪枝应用结构化稀疏性约束，并引入量化感知训练以在权重二值化过程中保持性能。
• 通过训练学生生成器模仿教师网络的特征图和输出分布，实现知识蒸馏。
• 采用极小化-极大化训练目标，以保留 GAN 性能所必需的对抗训练动态。
• 在蒸馏过程中使用感知损失作为监督信号，以保留高层语义内容。

实验结果

研究问题

• RQ1 能否在单一框架中有效结合多种压缩技术用于 GAN 压缩，而不会导致训练不稳定？
• RQ2 统一的优化方法是否显著优于 GAN 中压缩方法的顺序或启发式堆叠？
• RQ3 将极小化-极大化目标整合到压缩框架中，如何影响压缩 GAN 的性能？
• RQ4 联合优化蒸馏、剪枝和量化在多大程度上能减少 FLOPs 和模型大小，同时保持图像质量？
• RQ5 所提出的框架是否可推广至非循环一致性 GAN，例如编码器-解码器风格迁移网络？

主要发现

• GAN Slimming 在 CartoonGAN 上实现了高达 47 倍的 FLOPs 压缩和 235 倍的模型尺寸缩减，视觉质量损失极小。
• GS-8 实现了 47 倍的 FLOP 减少（从 56.46 GFLOPs 降至 1.20 GFLOPs）和 235 倍的模型尺寸减少（从 42.34 MB 降至 0.18 MB），同时保持了高质量的卡通化效果。
• GS-32 实现了 42 倍的 FLOP 压缩（1.34 GFLOPs），模型尺寸仅 0.80 MB，其在 FID 和视觉质量方面显著优于 GD 中手工设计的学生网络。
• 简单地将压缩技术堆叠（如先蒸馏再剪枝，D+CP；或后量化，postQ）会导致灾难性的性能下降，验证了联合优化的必要性。
• 在蒸馏过程中用 MSE 损失替代感知损失会导致图像质量显著下降，证实了高层语义监督的重要性。
• 与不使用对抗训练的方法（如 CEC）相比，将极小化-极大化目标整合到压缩框架中能显著提升性能。