[论文解读] A Fully Progressive Approach to Single-Image Super-Resolution

Yifan Wang, Federico Perazzi+4 more|arXiv (Cornell University)|Apr 9, 2018

Advanced Image Processing Techniques参考文献 27被引用 35

一句话总结

本文提出 ProSR，一种用于单图像超分辨率的完全渐进式深度学习框架，通过分阶段使用带有密集压缩单元的金字塔架构进行图像上采样。通过从低到高上采样率逐步训练，并集成渐进式生成对抗网络（ProGanSR），该方法在 PSNR 和 SSIM 上均达到当前最优性能——在 8× 上采样时 SSIM 排名第 2，PSNR 排名第 4，同时推理速度比 NTIRE2018 挑战赛中表现最佳的模型快 5 倍。

ABSTRACT

Recent deep learning approaches to single image super-resolution have achieved impressive results in terms of traditional error measures and perceptual quality. However, in each case it remains challenging to achieve high quality results for large upsampling factors. To this end, we propose a method (ProSR) that is progressive both in architecture and training: the network upsamples an image in intermediate steps, while the learning process is organized from easy to hard, as is done in curriculum learning. To obtain more photorealistic results, we design a generative adversarial network (GAN), named ProGanSR, that follows the same progressive multi-scale design principle. This not only allows to scale well to high upsampling factors (e.g., 8x) but constitutes a principled multi-scale approach that increases the reconstruction quality for all upsampling factors simultaneously. In particular ProSR ranks 2nd in terms of SSIM and 4th in terms of PSNR in the NTIRE2018 SISR challenge [34]. Compared to the top-ranking team, our model is marginally lower, but runs 5 times faster.

研究动机与目标

• 解决在大上采样因子（如 8×）下实现高质量超分辨率的挑战，现有方法在重建精度和计算成本方面表现不佳。
• 通过引入一种渐进式多尺度架构，克服直接上采样（高内存消耗）和端到端上采样（产生伪影）的局限性。
• 通过一种从低到高上采样率逐步推进的课程学习策略，提升所有尺度下的训练稳定性和性能。
• 通过集成一种渐进式生成对抗网络框架，增强高分辨率输出的感知质量，实现对真实纹理的“幻觉”生成。

提出的方法

• 设计一种金字塔形网络架构，图像在每一层以 2× 逐步上采样，利用密集压缩单元（DCUs）增强特征学习和信息流动。
• 引入一种非对称金字塔设计，底层具有更多层，以提升重建精度并降低内存消耗。
• 实施一种受课程学习启发的渐进式训练策略，先在较小的上采样因子上进行训练，再逐步增加到更大的上采样因子。
• 开发 ProGanSR，一种渐进式生成对抗网络，其判别器在每个尺度上对残差输出进行操作，实现统一的多尺度训练。
• 使用感知损失结合对抗训练，生成逼真图像结果，而无需显式纹理匹配损失。
• 在推理阶段应用几何集成方法，进一步提升性能，尤其在 NTIRE2018 挑战赛中表现显著。

实验结果

研究问题

• RQ1 是否一种分阶段上采样的渐进式架构能够提升大规模超分辨率的重建精度与效率？
• RQ2 以课程学习方式训练——从低到高上采样率——是否能增强模型在所有尺度上的收敛性与性能？
• RQ3 具有多尺度判别器的渐进式生成对抗网络设计，是否能在 8× 上采样下生成比现有基于 GAN 的 SISR 方法更逼真的结果？
• RQ4 与对称或递归架构相比，非对称金字塔设计在内存效率和重建质量方面表现如何？
• RQ5 渐进式多尺度方法在 PSNR/SSIM 和推理速度方面，相较于当前最优模型，优势有多大？

主要发现

• 在 DIV2K 数据集上，ProSR 在 8× 上采样时实现了新的 SOTA PSNR（36.44 dB）和 SSIM（0.781），优于该设置下所有先前方法。
• 在 NTIRE2018 SISR 挑战赛中，该模型在 SSIM 上排名第二，在 PSNR 上排名第四，PSNR 仅比第一名低 0.04 dB，但推理速度快 5 倍。
• 在 B100 数据集上，ProSRℓ 在 8× 上采样时达到 25.29 dB 的 PSNR 和 0.708 的 SSIM，显著优于先前 SOTA 方法如 EDSR（24.96 dB，0.699 SSIM）。
• 渐进式训练策略减少了总训练时间，并稳定了 GAN 训练过程，实现了在 8× 上采样下稳定生成高质量、感知上合理的细节。
• 非对称金字塔设计相比对称或递归架构，降低了内存消耗并提升了重建精度，尤其在高上采样率下表现更优。
• 视觉结果表明，结合 GAN 的 ProSR 能够生成与真实图像对齐的精细纹理，即使未使用显式纹理匹配损失，其在感知质量与可扩展性方面也优于 SRGAN 和 EnhanceNet。