[论文解读] Learning to Maintain Natural Image Statistics

Roey Mechrez, Itamar Talmi+2 more|arXiv (Cornell University)|Mar 13, 2018

Advanced Image Processing Techniques参考文献 38被引用 24

一句话总结

该论文提出了一种新颖的前馈卷积神经网络方法，通过显式建模特征分布来保持自然图像的统计特性，将训练数据需求降低了数个数量级，并在单图像超分辨率和高分辨率表面法线估计任务中取得了最先进性能，为对抗性训练提供了一种互补的替代方案。

ABSTRACT

Maintaining natural image statistics is a crucial factor in restoration and generation of realistic looking images. When training CNNs, photorealism is usually attempted by adversarial training (GAN), that pushes the output images to lie on the manifold of natural images. GANs are very powerful, but not perfect. They are hard to train and the results still often suffer from artifacts. In this paper we propose a complementary approach, whose goal is to train a feed-forward CNN to maintain natural internal statistics. We look explicitly at the distribution of features in an image and train the network to generate images with natural feature distributions. Our approach reduces by orders of magnitude the number of images required for training and achieves state-of-the-art results on both single-image super-resolution, and high-resolution surface normal estimation.

研究动机与目标

• 为解决GAN在图像恢复与生成任务中的局限性，如训练不稳定性和伪影问题。
• 减少训练逼真图像模型通常所需的海量数据量。
• 开发一种前馈CNN，通过不依赖对抗性损失来保持自然图像内部统计特性。
• 在单图像超分辨率和高分辨率表面法线估计任务中实现最先进性能。
• 通过聚焦于内在特征分布，为基于GAN的方法提供一种互补的替代方案。

提出的方法

• 该方法通过学习到的统计先验，显式建模图像中特征的分布。
• 训练一个前馈CNN，使其生成的图像内部特征分布与自然图像一致。
• 训练目标优化特征表示的统计一致性，而非对抗性判别。
• 该方法利用内部统计特性作为监督信号，降低对大规模真实图像数据集的依赖。
• 使用可微损失函数端到端训练网络，以在特征空间中强制实现自然性。
• 该方法在超分辨率和表面法线估计任务中均得到应用，采用共享的架构与训练原则。

实验结果

研究问题

• RQ1 前馈CNN是否能在不使用对抗性训练的情况下保持自然图像统计特性？
• RQ2 在图像恢复任务中，建模内部特征分布能在多大程度上减少数据需求？
• RQ3 与基于GAN的方法相比，显式特征分布建模在减少伪影和提升逼真度方面表现如何？
• RQ4 该方法能否在超分辨率和表面法线估计等多样化图像恢复任务中实现泛化？
• RQ5 非对抗性、基于统计的方法在实现逼真图像生成方面的性能上限是什么？

主要发现

• 与标准的基于GAN的方法相比，所提出方法将所需训练图像数量减少了数个数量级。
• 在单图像超分辨率任务中，该方法在基准指标上优于现有方法，实现了最先进性能。
• 在高分辨率表面法线估计任务中，该方法表现出色，展现了强大的泛化能力。
• 尽管未使用对抗性训练，该模型产生的伪影更少，输出更自然，优于基于GAN的替代方案。
• 该方法在多种图像恢复任务中保持了强劲性能，且架构改动极小。
• 结果证实，建模内部特征分布是实现逼真图像生成的一种可行且有效的替代对抗性训练的方法。