[论文解读] Image Processing Using Multi-Code GAN Prior

Jinjin Gu, Yujun Shen+1 more|arXiv (Cornell University)|Dec 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 69被引用 11

一句话总结

该论文提出mGANprior，一种新颖的GAN反演方法，通过使用多个潜在代码和自适应通道融合，显著提升了真实图像重建的保真度。通过过度参数化潜在空间，该方法实现了高质量的图像重建，优于单代码基线方法，并在无需微调的情况下，利用预训练的GAN解锁了超分辨率、着色和图像修复等多种应用。

ABSTRACT

Despite the success of Generative Adversarial Networks (GANs) in image synthesis, applying trained GAN models to real image processing remains challenging. Previous methods typically invert a target image back to the latent space either by back-propagation or by learning an additional encoder. However, the reconstructions from both of the methods are far from ideal. In this work, we propose a novel approach, called mGANprior, to incorporate the well-trained GANs as effective prior to a variety of image processing tasks. In particular, we employ multiple latent codes to generate multiple feature maps at some intermediate layer of the generator, then compose them with adaptive channel importance to recover the input image. Such an over-parameterization of the latent space significantly improves the image reconstruction quality, outperforming existing competitors. The resulting high-fidelity image reconstruction enables the trained GAN models as prior to many real-world applications, such as image colorization, super-resolution, image inpainting, and semantic manipulation. We further analyze the properties of the layer-wise representation learned by GAN models and shed light on what knowledge each layer is capable of representing.

研究动机与目标

• 解决现有依赖单个潜在代码的GAN反演方法重建质量较差的问题。
• 使预训练的GAN能够作为多样化现实世界图像处理任务的有效先验。
• 通过使用多个代码过度参数化潜在空间，提升图像重建保真度。
• 分析GAN生成器不同层如何编码语义和感知知识。
• 展示该方法在域内和域外图像上的泛化能力。

提出的方法

• 该方法在生成器的中间层使用多个潜在代码，生成多个特征图。
• 通过可学习的通道权重，自适应地融合这些特征图以重建输入图像。
• 通过端到端优化多个潜在代码和通道权重，最小化重建损失。
• 将该方法应用于生成器的不同层，以分析各层的表征能力。
• 在超分辨率、着色和图像修复等图像恢复任务上，使用预训练的PGGAN模型评估该方法。
• 消融研究比较了不同层和GAN架构下的性能，以识别最优的特征组合层。

实验结果

研究问题

• RQ1 与单代码反演相比，多个潜在代码是否能显著提升GAN中的图像重建质量？
• RQ2 生成器中间层的选择如何影响重建保真度和语义内容？
• RQ3 mGANprior能否有效重建与GAN训练数据存在领域差异的图像？
• RQ4 在训练好的GAN生成器的不同层中，编码了何种知识（如低级细节 vs. 高级语义）？
• RQ5 mGANprior在多大程度上可实现下游图像处理任务，而无需微调或架构修改？

主要发现

• mGANprior实现了最先进的重建性能，在中心裁剪和随机裁剪的图像恢复任务上，均优于现有的GAN反演方法和Deep Image Prior（DIP）。
• 在中心裁剪和随机裁剪的图像修复任务中，mGANprior分别实现了21.19 dB和22.11 dB的PSNR，其中第4层表现最佳。
• 在图像着色任务中，第8层实现了90.02%的最高AuC得分，表明其在低级着色重建方面表现优越。
• 当使用在人脸数据（CelebA-HQ）上训练的GAN反演卧室图像时，单代码反演无法重建出正确内容，而mGANprior通过使用多个代码成功生成了卧室图像。
• 第4层已足够支持卧室图像的重建，而其他领域（如人脸、教堂）则需要第8层，表明语义抽象具有层依赖性。
• 在更高层进行特征融合可获得更好的重建质量，因为这些层编码了更多细节信息。