[论文解读] Latent Convolutional Models

ShahRukh Athar, Evgeny Burnaev+1 more|arXiv (Cornell University)|Jun 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 11

一句话总结

本文提出了潜在卷积模型（LCM），一种生成框架，用可学习的二维特征图替代传统的基于向量的潜在空间，从而在图像修复和重建任务中表现更优。通过将潜在变量建模为空间特征图，LCM在CelebA、CelebAHQ和Bedrooms数据集上均达到最先进性能，无论在定性还是定量评估中，均优于GLO、DIP、WGAN和PGAN基线模型，尤其在高遮挡和低数据量场景下表现突出。

ABSTRACT

We present a new latent model of natural images that can be learned on large-scale datasets. The learning process provides a latent embedding for every image in the training dataset, as well as a deep convolutional network that maps the latent space to the image space. After training, the new model provides a strong and universal image prior for a variety of image restoration tasks such as large-hole inpainting, superresolution, and colorization. To model high-resolution natural images, our approach uses latent spaces of very high dimensionality (one to two orders of magnitude higher than previous latent image models). To tackle this high dimensionality, we use latent spaces with a special manifold structure (convolutional manifolds) parameterized by a ConvNet of a certain architecture. In the experiments, we compare the learned latent models with latent models learned by autoencoders, advanced variants of generative adversarial networks, and a strong baseline system using simpler parameterization of the latent space. Our model outperforms the competing approaches over a range of restoration tasks.

研究动机与目标

• 通过用可学习的 2D 特征图替代标准的基于向量的潜在空间，提升图像修复与重建性能。
• 解决 GLO 等基于 GAN 的模型在重建高分辨率、非紧密裁剪人脸图像时的局限性。
• 评估空间结构化潜在变量在极端遮挡（95% 像素丢失）条件下生成逼真图像补全的能力。
• 在包含 CelebA、CelebAHQ 和 Bedrooms 的多样化数据集上，将 LCM 与 GLO、DIP、WGAN-GP 和 PGAN 等强基线模型进行对比。

提出的方法

• LCM 使用具有沙漏结构的生成器网络，将 2D 特征图潜在空间映射为全分辨率图像。
• 潜在空间被参数化为 2D 卷积特征图（例如 4×4 或 32×32），而非 1D 向量，从而引入空间归纳偏置。
• 生成器采用跳跃连接，以在上采样过程中保留高频细节。
• 潜在网络 fϕi 是一个卷积编码器，将输入图像映射为 2D 潜在特征图。
• 训练采用重建目标与对抗性损失，且潜在空间不施加 L2 正则化。
• 模型在 CelebA（128×128）、Bedrooms（256×256）和 CelebAHQ（1024×1024）数据集上进行端到端训练。

实验结果

研究问题

• RQ1 用 2D 特征图替代基于向量的潜在变量，是否能提升在高分辨率、非紧密裁剪人脸图像上的图像修复性能？
• RQ2 在极端遮挡条件下，LCM 与 GLO、DIP、WGAN-GP 和 PGAN 在重建质量与损失方面相比如何？
• RQ3 潜在空间中不施加 L2 正则化是否会导致图像恢复任务中更好的泛化性能？
• RQ4 空间结构化的潜在空间是否能比密集向量表示更好地捕捉局部图像结构？

主要发现

• LCM 在使用 24k 参数的 2D 潜在图时，在 CelebA 上实现了 0.0113 的重建损失，显著优于使用 8192 维向量的基于向量的 GLO 模型（损失：0.0144）。
• 24k (Conv) LCM 变体在所有 GLO 变体中实现最低的重建损失，表明潜在空间中的空间结构可提升建模能力。
• 在 WGAN-GP 中增加潜在变量的 L2 惩罚会使重建损失上升，损失从无惩罚时的 0.1893 上升至权重为 1 时的 0.53，表明正则化会损害性能。
• LCM 在图像修复任务中产生更优的定性结果，尤其在 95% 像素丢失条件下，其在视觉保真度与细节恢复方面优于 GLO、DIP、WGAN 和 PGAN。
• 尽管参数量相近，24k (Conv) LCM 模型的表现优于 8192 (vec) GLO 模型，证明了空间归纳偏置的优势。
• LCM 在不同数据集间泛化良好，在 CelebAHQ 和 Bedrooms 上表现强劲，而此前的 GAN 模型在处理非紧密裁剪图像时表现不佳。