[论文解读] Creating High Resolution Images with a Latent Adversarial Generator

David Berthelot, Peyman Milanfar+1 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Image Processing Techniques参考文献 15被引用 10

一句话总结

本文提出了一种新型的潜在对抗生成器（Latent Adversarial Generator, LAG），通过学习单一感知潜在空间，从低分辨率输入生成高分辨率图像。与回归到单一输出不同，LAG利用潜在噪声向量采样出多样化且感知上逼真的高分辨率图像，实现了最先进的视觉质量，且无需手动调整损失权重或像素级监督。

ABSTRACT

Generating realistic images is difficult, and many formulations for this task have been proposed recently. If we restrict the task to that of generating a particular class of images, however, the task becomes more tractable. That is to say, instead of generating an arbitrary image as a sample from the manifold of natural images, we propose to sample images from a particular "subspace" of natural images, directed by a low-resolution image from the same subspace. The problem we address, while close to the formulation of the single-image super-resolution problem, is in fact rather different. Single image super-resolution is the task of predicting the image closest to the ground truth from a relatively low resolution image. We propose to produce samples of high resolution images given extremely small inputs with a new method called Latent Adversarial Generator (LAG). In our generative sampling framework, we only use the input (possibly of very low-resolution) to direct what class of samples the network should produce. As such, the output of our algorithm is not a unique image that relates to the input, but rather a possible se} of related images sampled from the manifold of natural images. Our method learns exclusively in the latent space of the adversary using perceptual loss -- it does not have a pixel loss.

研究动机与目标

• 从低分辨率输入生成多样化且高分辨率的图像，而无需像素级重建损失。
• 将图像生成建模为从感知潜在空间采样，而非优化单一真实输出。
• 通过学习统一的潜在空间，消除对感知损失与对抗损失手动超参数调优的需求。
• 探究输入分辨率与噪声如何影响生成图像的多样性与质量。
• 证明单一感知潜在空间可隐式平衡感知保真度与图像锐度，而无需显式损失加权。

提出的方法

• 生成器 G 以低分辨率图像 y 和服从标准正态分布的潜在噪声向量 z ~ N(0,1) 作为输入，生成高分辨率图像 x_z。
• 判别器 C 被分解为一个投影模块 P 到感知潜在空间 P 和一个判别器 F，其中 C = F(P(x,y;φ);ψ)。
• 模型使用带有梯度惩罚的Wasserstein GAN目标进行训练，以强制判别器满足1-Lipschitz连续性。
• 感知潜在空间 P 通过端到端的对抗训练进行学习，从而无需单独的感知损失或内容损失。
• 生成器被训练以生成在感知上逼真且与输入图像语义内容一致的图像。
• 通过潜在变量 z 和向输入中注入噪声来控制图像多样性，从而探索可能的高分辨率图像流形。

实验结果

研究问题

• RQ1 单一感知潜在空间是否可以替代高分辨率图像生成中多个手动加权损失（如像素损失、感知损失、对抗损失）的需求？
• RQ2 输入图像尺寸如何影响生成的高分辨率输出的多样性？
• RQ3 当输入为镜像或含噪的低分辨率图像时，模型能否生成一致且语义连贯的高分辨率图像？
• RQ4 与标准超分辨率方法相比，缺乏像素级重建损失是否能带来更好的感知质量？
• RQ5 潜在噪声与输入扰动在不损害真实感的前提下，能在多大程度上控制生成图像的多样性？

主要发现

• LAG 模型在无需显式像素损失或内容损失项的情况下，可生成具有多样化且感知上逼真细节的高分辨率图像。
• 在镜像输入下，模型仍能保持强一致性，表明其在变换下具有良好的语义连贯性。
• 即使固定 z=0，向低分辨率输入添加噪声也能生成广泛多样的合理高分辨率输出，表明对输入扰动具有鲁棒性。
• 该方法实现了与最先进 GAN 基础超分辨率模型相当的高视觉质量，且无需手动损失平衡或训练不稳定性。
• 感知潜在空间隐式平衡了感知保真度与锐度，生成的图像既逼真又多样化。
• 该方法对极端输入下采样（如 8× 和 16×）具有鲁棒性，可从极低分辨率输入生成合理的高分辨率图像。