[论文解读] EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis

Mehdi S. M. Sajjadi, Bernhard Schölkopf+1 more|arXiv (Cornell University)|Dec 23, 2016

Advanced Image Processing Techniques被引用 5

一句话总结

该论文提出EnhanceNet，一种用于单图像超分辨率的深度学习框架，结合对抗训练、感知损失与自动纹理生成，以生成清晰、逼真的高频纹理。通过在感知损失（聚焦于纹理统计）的对抗设置下训练全卷积神经网络，该方法在定量指标（PSNR、SSIM）和感知质量方面均达到最先进水平，尽管PSNR值略低，但在视觉真实感方面优于PSNR优化模型。

ABSTRACT

Single image super-resolution is the task of inferring a high-resolution image from a single low-resolution input. Traditionally, the performance of algorithms for this task is measured using pixel-wise reconstruction measures such as peak signal-to-noise ratio (PSNR) which have been shown to correlate poorly with the human perception of image quality. As a result, algorithms minimizing these metrics tend to produce over-smoothed images that lack high-frequency textures and do not look natural despite yielding high PSNR values. We propose a novel application of automated texture synthesis in combination with a perceptual loss focusing on creating realistic textures rather than optimizing for a pixel-accurate reproduction of ground truth images during training. By using feed-forward fully convolutional neural networks in an adversarial training setting, we achieve a significant boost in image quality at high magnification ratios. Extensive experiments on a number of datasets show the effectiveness of our approach, yielding state-of-the-art results in both quantitative and qualitative benchmarks.

研究动机与目标

• 解决基于PSNR的超分辨率方法因回归均值而产生过度平滑、不自然图像的局限性。
• 通过聚焦于真实纹理生成而非像素级重建精度，提升感知图像质量。
• 开发一种前馈式、全卷积神经网络架构，实现在保留高频细节的同时实现快速推理。
• 证明将对抗训练与感知损失及纹理统计匹配相结合，可产生比PSNR优化模型更锐利、更自然的结果。
• 不仅在PSNR上，而且在感知指标与人类评估中均实现最先进性能，尤其在高倍率放大下表现突出。

提出的方法

• 采用全卷积神经网络（FCN）架构，实现端到端、前馈式超分辨率推理。
• 引入对抗训练设置，使用判别器网络区分真实高分辨率图像与生成的高分辨率输出，以增强真实感。
• 采用基于预训练VGG网络特征的感知损失，使生成图像在高层特征空间中与真实图像统计一致。
• 引入纹理统计匹配损失，促使模型重现真实图像中的局部纹理模式（如边缘、纹理），提升局部真实感。
• 使用多组件损失联合训练生成器，包括对抗损失、感知损失与纹理统计损失，以平衡真实感与保真度。
• 采用两阶段训练策略：首先在MSE损失上预训练生成器，然后使用联合感知与对抗目标进行微调。

实验结果

研究问题

• RQ1 与PSNR优化模型相比，对抗训练结合感知损失与纹理统计损失是否能显著提升超分辨率图像的感知质量？
• RQ2 显式建模局部纹理统计是否能提升高倍率超分辨率中的纹理锐度与真实感？
• RQ3 前馈式全卷积神经网络能否在PSNR与感知质量基准中均实现最先进性能？
• RQ4 在视觉真实感与人类感知方面，该方法与现有SISR模型相比如何，特别是在4倍放大时？
• RQ5 在标准PSNR训练中缺乏真实纹理匹配，是否会导致感知上不合理的输出结果？

主要发现

• ENet-PAT（感知对抗纹理）在Set5（2倍放大时PSNR为37.32 dB）、Set14（2倍放大时PSNR为33.25 dB）和Urban100（2倍放大时PSNR为31.21 dB）上达到最先进PSNR表现，优于VDSR与DRCN等先前方法。
• 在4倍超分辨率下，ENet-PAT在Set5上达到33.89 dB的PSNR，Set14上为30.45 dB，BSD100上为28.30 dB，Urban100上为29.00 dB，展现出高倍率下的强劲性能。
• 在人类感知调查中，ENet-PAT的偏好选择率达到91.0%，参与者更倾向于选择ENet-PAT的输出而非PSNR优化的ENet-E，证实其感知质量更优。
• ENet-PAT生成的图像更锐利，纹理逼真，且混叠现象减少，即使输入被4倍下采样（像素损失达93.75%），其性能仍优于基于更少信息训练的模型。
• 得益于显式纹理统计匹配损失，该模型减少了视觉上不合理的伪影，增强了纹理真实感，且无需额外正则化。
• 在重建细小细节（如细线与边缘）方面，ENet-PAT优于RAISR及其他SOTA方法，如Set5中的蝴蝶图像所示。