[论文解读] AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks

Yonggan Fu, Wuyang Chen+4 more|arXiv (Cornell University)|Jun 15, 2020

Generative Adversarial Networks and Image Synthesis被引用 48

一句话总结

AutoGAN-Distiller (AGD) 在搜索并蒸馏 GAN 架构以压缩 CycleGAN 和 ESRGAN，达到更小的模型并具备具有竞争力或提升的质量。

ABSTRACT

The compression of Generative Adversarial Networks (GANs) has lately drawn attention, due to the increasing demand for deploying GANs into mobile devices for numerous applications such as image translation, enhancement and editing. However, compared to the substantial efforts to compressing other deep models, the research on compressing GANs (usually the generators) remains at its infancy stage. Existing GAN compression algorithms are limited to handling specific GAN architectures and losses. Inspired by the recent success of AutoML in deep compression, we introduce AutoML to GAN compression and develop an AutoGAN-Distiller (AGD) framework. Starting with a specifically designed efficient search space, AGD performs an end-to-end discovery for new efficient generators, given the target computational resource constraints. The search is guided by the original GAN model via knowledge distillation, therefore fulfilling the compression. AGD is fully automatic, standalone (i.e., needing no trained discriminators), and generically applicable to various GAN models. We evaluate AGD in two representative GAN tasks: image translation and super resolution. Without bells and whistles, AGD yields remarkably lightweight yet more competitive compressed models, that largely outperform existing alternatives. Our codes and pretrained models are available at https://github.com/TAMU-VITA/AGD.

研究动机与目标

• 说明对在不牺牲翻译质量的情况下压缩生成对抗网络的必要性。
• 提出一个架构搜索框架，以发现适用于各种未配对图像翻译任务的高效生成器模块。
• 在 CycleGAN 变体和 ESRGAN 上证明 AGD 的有效性，包括量化配置。
• 提供可视化和与最先进基线的定量比较。

提出的方法

• 在每个任务的统一搜索空间内独立搜索生成器架构。
• 利用多种算子和宽度组成面向任务的模块和干线。
• 对未配对图像翻译任务（horse2zebra、zebra2horse、summer2winter、winter2summer）以及基于 ESRGAN 的超分辨率进行评估。
• 对搜索得到的架构应用 8 位量化，以评估内存和性能权衡。
• 与 CEC 和以 PSNR 为导向的 SR 模型（VDSR、ESRGAN）进行定量基准对比。
• 可视化结果以展示边缘清晰度和细节的定性改进。

实验结果

研究问题

• RQ1 AGD 在不牺牲视觉质量的前提下，能在多大程度上压缩 CycleGAN 架构以用于未配对图像翻译任务？
• RQ2 AGD 派生的以 PSNR 为导向的 ESRGAN 架构是否能在显著降低 FLOPs 和内存的情况下实现具有竞争力的 PSNR？
• RQ3 对 AGD 发现的架构应用 8 位量化有哪些收益与权衡？

主要发现

模型	GFLOPs (256x256)	内存 (MB)	PSNR	Set5	Set14	BSD100	Urban100
ESRGAN	1176.61	66.8	32.73	28.99	27.85	27.03	-
VDSR	699.36	2.67	31.35	28.01	27.29	25.18	-
AGD	110.9	1.8	31.79	28.36	27.41	25.55	-

• AGD 在各任务中发现了多样化的算子集，且在干线和头部中较大宽度出现较早。
• AGD 压缩的 CycleGAN 架构相比基线具有更高的视觉质量（边缘更清晰、细节更多）。
• 量化后的 AGD 架构在保持可比的可视化质量的同时，显著降低内存占用（相对于 CEC 的降低幅度为 8.1x–10.1x）。
• 在 PSNR 为导向的 ESRGAN 上，AGD 在各数据集上实现最高约 0.44 的 PSNR 提升， FLOPs 约减少 84.1%、模型大小约缩小 32.6% 相较于 ESRGAN 基线。
• 在 SR 基准测试中，AGD 实现 110.9 GFLOPs 和 1.8 MB 内存，PSNR 分别为 31.79（Set5）、28.36（Set14）、27.41（BSD100）和 25.55（Urban100）。