[论文解读] Correction by Projection: Denoising Images with Generative Adversarial Networks

Subarna Tripathi, Zachary C. Lipton+1 more|arXiv (Cornell University)|Mar 12, 2018

Image and Signal Denoising Methods参考文献 16被引用 44

一句话总结

该论文通过将图像投影到 GAN 流形以恢复潜在代码来去噪，PSNR 优于 BM3D，且不需要噪声方差先验；并通过潜在空间的锐度属性进一步提升结果。

ABSTRACT

Generative adversarial networks (GANs) transform low-dimensional latent vectors into visually plausible images. If the real dataset contains only clean images, then ostensibly, the manifold learned by the GAN should contain only clean images. In this paper, we propose to denoise corrupted images by finding the nearest point on the GAN manifold, recovering latent vectors by minimizing distances in image space. We first demonstrate that given a corrupted version of an image that truly lies on the GAN manifold, we can approximately recover the latent vector and denoise the image, obtaining significantly higher quality, comparing with BM3D. Next, we demonstrate that latent vectors recovered from noisy images exhibit a consistent bias. By subtracting this bias before projecting back to image space, we improve denoising results even further. Finally, even for unseen images, our method performs better at denoising better than BM3D. Notably, the basic version of our method (without bias correction) requires no prior knowledge on the noise variance. To achieve the highest possible denoising quality, the best performing signal processing based methods, such as BM3D, require an estimate of the blur kernel.

研究动机与目标

• 通过将潜在代码从 GAN 中恢复并投影到学习到的图像流形来实现去噪的动机。
• 证明从带噪图像中恢复潜在向量能比传统方法如 BM3D 获得更高质量的去噪。
• 研究在恢复的潜在向量中的偏置校正以提升去噪。
• 展示对真实图像及超出生成模型分布的未见图像上的去噪性能。
• 探究潜在空间属性（锐度）是否能进一步提升去噪质量。

提出的方法

• 将去噪公式化为在 z' ∈ [-1,1]^100 上最小化 ||phi(z) - phi(z')||^2_2。
• 使用带裁剪的梯度下降（无裁剪、投影梯度、随机裁剪）来恢复潜在向量。
• 应用随机裁剪以强制执行潜在空间约束并提高 PSNR。
• 通过在不同噪声方差下分析潜在向量并用该属性增强恢复向量，引入锐度属性（LVR-SA）。
• 在 CelebA 与 LFW 生成的图像以及对 CelebA 的真实图像加入高斯噪声后进行评估。

实验结果

研究问题

• RQ1 从被损坏的图像中恢复潜在向量是否可以产生胜过 BM3D 的去噪图像？
• RQ2 随机裁剪是否比简单的梯度更新更能改善潜在向量的恢复？
• RQ3 潜在空间的锐度属性是否能进一步提升生成图像和真实图像的去噪质量？
• RQ4 该去噪框架对未在训练 GAN 中出现的未见图像是否有效？

主要发现

• 采用潜在向量恢复（LVR）进行去噪在被污染图像上获得的 PSNR 高于 BM3D。
• 随机裁剪在 PSNR 上高于简单无裁剪和投影梯度（约提高 1 dB）。
• 添加锐度属性（LVR-SA）在生成图像和真实图像上均比 LVR 进一步提升 PSNR。
• 在高噪声方差下，LVR 与 LVR-SA 仍保持相对于 BM3D 的去噪优势，即使没有显式的噪声方差知识。
• 在噪声方差为127的生成数据上，LVR: 33.40 dB，LVR-SA: 33.60 dB，与 BM3D: 29.10 dB相比；在方差184时，LVR: 22.0 dB，LVR-SA: 22.21 dB，而 BM3D: 18.55 dB。
• 该方法在超出训练分布的未见图像上显示出更强的去噪质量。