[论文解读] MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis

Sergei Belousov|arXiv (Cornell University)|Apr 10, 2021

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 13

一句话总结

MobileStyleGAN 提出了一种轻量级、基于小波的基于风格的 GAN 架构，与 StyleGAN2 相比，参数量减少 3.5 倍，计算复杂度降低 9.5 倍，同时在 1024×1024 的 FFHQ 数据集上实现了相当的图像质量（FID=7.75 vs. 2.84）。它通过来自预训练 StyleGAN2 教师模型的知识蒸馏，引入了深度可分离调制卷积，并通过图优化和 OpenVINO 加速，实现了在边缘设备上的高效推理。

ABSTRACT

In recent years, the use of Generative Adversarial Networks (GANs) has become very popular in generative image modeling. While style-based GAN architectures yield state-of-the-art results in high-fidelity image synthesis, computationally, they are highly complex. In our work, we focus on the performance optimization of style-based generative models. We analyze the most computationally hard parts of StyleGAN2, and propose changes in the generator network to make it possible to deploy style-based generative networks in the edge devices. We introduce MobileStyleGAN architecture, which has x3.5 fewer parameters and is x9.5 less computationally complex than StyleGAN2, while providing comparable quality.

研究动机与目标

• 为解决当前最先进的基于风格的 GAN（如 StyleGAN2）计算成本过高的问题，这些模型在边缘设备上的部署受到限制。
• 在不牺牲高分辨率图像合成质量的前提下，减少模型大小和推理复杂度。
• 通过架构重构和模型压缩技术，实现在 CPU 和移动平台上的高效推理。
• 探索在生成模型中集成基于小波的表征，以提升效率并实现更平滑的潜在空间。
• 开发一种知识蒸馏流程，将大型教师网络（StyleGAN2）的知识迁移至紧凑的学生网络（MobileStyleGAN）中。

提出的方法

• 通过预测输出图像的离散小波变换（DWT）而非像素值，采用基于小波的图像表征，实现频域处理。
• 提出深度可分离调制卷积（DSMC）作为标准调制卷积的轻量级替代方案，在保持风格调制能力的同时降低 FLOPs。
• 提出一种与图级优化（如操作融合和常量折叠）兼容的改进去归一化机制。
• 使用知识蒸馏训练 MobileStyleGAN：学生网络通过感知损失、GAN 损失和像素级损失模仿教师网络（StyleGAN2）。
• 采用多损失目标，结合 L1 像素损失、基于 VGG16 的感知损失以及带有 R1 正则化的对抗性 GAN 损失，以稳定训练过程。
• 利用可微增强（仿射变换、Cutout）和 OpenVINO 实现 CPU 上的优化推理，支持实时人脸生成。

实验结果

研究问题

• RQ1 在 GAN 中采用基于小波的频域表征是否能显著降低计算复杂度，同时保持高保真图像合成能力？
• RQ2 深度可分离调制卷积在不降低图像质量的前提下，能在多大程度上替代标准调制卷积？
• RQ3 知识蒸馏在将高保真图像生成能力从大型 StyleGAN2 模型迁移至轻量级 MobileStyleGAN 学生模型方面有多有效？
• RQ4 架构修改是否能使模型在不依赖高端硬件的前提下实现在 CPU 和边缘设备上的高效推理？
• RQ5 集成小波变换与优化归一化是否能改善潜在空间的平滑性与训练稳定性？

主要发现

• MobileStyleGAN 将模型参数量从 StyleGAN2 的 28.27M 减少至 8.01M，实现 3.5 倍的模型尺寸压缩。
• 计算复杂度从 143.15 GMACs 降低至 15.09 GMACs，FLOPs 减少 9.5 倍。
• 在 FFHQ 数据集上，MobileStyleGAN 的 Fréchet Inception Distance（FID）为 7.75，而 StyleGAN2 为 2.84，表明尽管经过压缩，仍具备高感知质量。
• 在 CPU（Intel i5-8279U）上，推理时间从 PyTorch 的 4.3 秒降低至使用 OpenVINO 时的 0.16 秒，展现出强大的优化潜力。
• 结合 OpenVINO 与图优化（如常量折叠和操作融合）可实现实时推理，使 MobileStyleGAN 适用于边缘部署。
• 蒸馏流程成功转移了高保真生成能力，感知损失与对抗性损失确保了真实、清晰的输出。