[论文解读] Learning Efficient GANs using Differentiable Masks and co-Attention Distillation.

Shaojie Li, Mingbao Lin+6 more|arXiv (Cornell University)|Nov 17, 2020

Digital Media Forensic Detection被引用 6

一句话总结

本文提出DMAD，一种新颖的GAN压缩方法，采用可微分掩码进行架构搜索，并通过协同注意力蒸馏稳定轻量级GAN的训练。该方法将CycleGAN的MACs减少13倍，Pix2Pix减少4倍，同时保持与完整模型相近的性能。

ABSTRACT

Generative Adversarial Networks (GANs) have been widely-used in image translation, but their high computational and storage costs impede the deployment on mobile devices. Prevalent methods for CNN compression cannot be directly applied to GANs due to the complicated generator architecture and the unstable adversarial training. To solve these, in this paper, we introduce a novel GAN compression method, termed DMAD, by proposing a Differentiable Mask and a co-Attention Distillation. The former searches for a light-weight generator architecture in a training-adaptive manner. To overcome channel inconsistency when pruning the residual connections, an adaptive cross-block group sparsity is further incorporated. The latter simultaneously distills informative attention maps from both the generator and discriminator of a pre-trained model to the searched generator, effectively stabilizing the adversarial training of our light-weight model. Experiments show that DMAD can reduce the Multiply Accumulate Operations (MACs) of CycleGAN by 13x and that of Pix2Pix by 4x while retaining a comparable performance against the full model. Code is available at this https URL.

研究动机与目标

• 解决GAN的高计算和存储成本问题，以促进移动端部署。
• 克服CNN压缩方法在GAN上的局限性，因其复杂的生成器架构和不稳定的对抗训练。
• 通过自适应跨块组稀疏性，实现在训练过程中自适应、通道一致的生成器架构搜索。
• 通过蒸馏预训练模型中生成器和判别器的注意力图，稳定压缩GAN的对抗训练。

提出的方法

• 引入可微分掩码，在端到端、自适应的方式下于训练过程中搜索轻量级生成器架构。
• 应用自适应跨块组稀疏性，在剪枝生成器中的残差连接时保持通道一致性。
• 提出协同注意力蒸馏，将预训练生成器和判别器中的信息性注意力图迁移至压缩生成器。
• 利用蒸馏后的注意力图稳定轻量级模型的对抗训练过程。
• 结合架构搜索与知识蒸馏，实现高比例压缩且性能损失最小。

实验结果

研究问题

• RQ1 可微分掩码能否在GAN生成器中实现有效、训练自适应的架构搜索？
• RQ2 在压缩GAN中剪枝残差连接时，如何缓解通道不一致性问题？
• RQ3 从生成器和判别器同时进行协同注意力蒸馏，能否提升轻量级GAN的训练稳定性？
• RQ4 在CycleGAN和Pix2Pix中，MACs最多可减少多少，同时保持性能不变？

主要发现

• DMAD将CycleGAN的乘加操作（MACs）减少13倍，同时保持与完整模型相当的性能。
• 该方法将Pix2Pix的MACs减少4倍，相对于原始模型性能下降可忽略。
• 协同注意力蒸馏显著稳定了压缩生成器的对抗训练过程。
• 自适应跨块组稀疏性在剪枝残差连接时有效保持了通道一致性。