[论文解读] An Acceleration Framework for High Resolution Image Synthesis

Jinlin Liu, Yuan Yao+1 more|arXiv (Cornell University)|Sep 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 5

一句话总结

本文提出一种两阶段GAN框架，通过训练一个编码器-解码器将图像压缩为小尺寸潜在代码，从而加速高分辨率图像生成。该方法使生成器能够从这些紧凑表示中学习，而非直接处理全分辨率图像。该方法将训练时间最多减少80%，并提升FID分数，在单张NVIDIA P100 GPU上仅用3天即可完成1024×1024图像生成。

ABSTRACT

Synthesis of high resolution images using Generative Adversarial Networks (GANs) is challenging, which usually requires numbers of high-end graphic cards with large memory and long time of training. In this paper, we propose a two-stage framework to accelerate the training process of synthesizing high resolution images. High resolution images are first transformed to small codes via the trained encoder and decoder networks. The code in latent space is times smaller than the original high resolution images. Then, we train a code generation network to learn the distribution of the latent codes. In this way, the generator only learns to generate small latent codes instead of large images. Finally, we decode the generated latent codes to image space via the decoder networks so as to output the synthesized high resolution images. Experimental results show that the proposed method accelerates the training process significantly and increases the quality of the generated samples. The proposed acceleration framework makes it possible to generate high resolution images using less training time with limited hardware resource. After using the proposed acceleration method, it takes only 3 days to train a 1024 *1024 image generator on Celeba-HQ dataset using just one NVIDIA P100 graphic card.

研究动机与目标

• 解决在高分辨率图像（如1024×1024）上训练GAN所面临的高计算成本与长时间训练问题。
• 在不牺牲生成样本质量的前提下，降低高分辨率图像生成的显存与硬件需求。
• 通过学习小尺寸潜在代码的分布，而非大尺寸图像，提升训练稳定性。
• 通过将图像压缩与生成解耦，实现在有限硬件（如单张高端GPU）上的高效训练。

提出的方法

• 训练一个全卷积编码器-解码器网络，将高分辨率图像映射为紧凑的潜在代码（例如，1024×1024图像对应h/4 × w/4 × 16）。
• 在低分辨率图像上预训练后固定编码器与解码器参数，避免为每个数据集重新训练。
• 训练一个独立的生成器网络，从随机噪声生成潜在代码，学习压缩表示的分布。
• 使用预训练的解码器网络将生成的潜在代码解码为高分辨率图像。
• 使用与标准GAN相同的判别器和损失函数，但将其应用于潜在代码而非原始像素。
• 在来自真实图像的潜在代码上训练代码生成器，实现稳定且高效的优化。

实验结果

研究问题

• RQ1 在不修改生成器或判别器架构的前提下，能否显著提升高分辨率GAN的训练效率？
• RQ2 学习生成压缩潜在代码而非完整图像，是否能带来更好的训练稳定性和更快的收敛速度？
• RQ3 在有限硬件资源下，所提框架在多大程度上能减少训练时间并降低FID分数？
• RQ4 预训练的编码器-解码器能否在不微调的情况下跨数据集迁移，并在多样化图像分布上保持性能？

主要发现

• 在单张NVIDIA P100 GPU上，使用所提框架训练CelebA-HQ的1024×1024 GAN生成器仅需3天，而基线方法需14–41天。
• 1024×1024图像生成的FID分数从基线的54.83降至14.80，表明质量显著提升。
• 对于512×512图像，FID从30.43降至14.72，表明在不同分辨率下均具有一致的性能提升。
• 每轮训练时间从基线的225分钟降至45分钟（h/4×w/4×16代码尺寸），提速4倍。
• 即使使用更小的代码尺寸（如h/16×w/16×16），FID仍保持较低水平（22.12），且每轮训练时间缩短至9分钟。
• 该框架可泛化至其他数据集（如LSUN），加速后FID从38.32（卧室）降至17.90，从30.99（教堂）降至21.91。