[论文解读] GUN: Gradual Upsampling Network for Single Image Super-Resolution

Yang Zhao, Guoqing Li+4 more|arXiv (Cornell University)|Mar 13, 2017

Advanced Image Processing Techniques参考文献 61被引用 6

一句话总结

本文提出GUN，一种用于单图像超分的深度卷积神经网络，采用渐进式上采样策略，将超分任务简化为多个小规模上采样步骤。通过堆叠的上采样卷积块逐步提升分辨率，并结合渐进式训练方案，GUN在基准数据集上实现了更清晰、更生动的结果，同时提升了训练稳定性和性能。

ABSTRACT

In this paper, an efficient super-resolution (SR) method based on deep convolutional neural network (CNN) is proposed, namely Gradual Upsampling Network (GUN). Recent CNN based SR methods often preliminarily magnify the low resolution (LR) input to high resolution (HR) and then reconstruct the HR input, or directly reconstruct the LR input and then recover the HR result at the last layer. The proposed GUN utilizes a gradual process instead of these two commonly used frameworks. The GUN consists of an input layer, multiple upsampling and convolutional layers, and an output layer. By means of the gradual process, the proposed network can simplify the direct SR problem to multistep easier upsampling tasks with very small magnification factor in each step. Furthermore, a gradual training strategy is presented for the GUN. In the proposed training process, an initial network can be easily trained with edge-like samples, and then the weights are gradually tuned with more complex samples. The GUN can recover fine and vivid results, and is easy to be trained. The experimental results on several image sets demonstrate the effectiveness of the proposed network.

研究动机与目标

• 为解决训练深度超分网络的挑战，通过将直接高倍率图像上采样的复杂任务简化。
• 通过将超分过程分解为多个小规模上采样步骤，提升训练稳定性和特征恢复能力。
• 通过从边缘样例开始的渐进式训练策略，使网络逐步学习更复杂的纹理和边缘。
• 在降低网络复杂度并改善收敛性的同时，实现高质量、视觉上逼真的超分图像。

提出的方法

• GUN架构采用一系列堆叠的上采样卷积块，逐步将分辨率从低提升至高，而非执行单次大规模上采样。
• 每个上采样块结合转置卷积与残差学习，以保留空间细节并简化优化过程。
• 网络采用渐进式训练：先在简单的边缘样例上训练，再在更复杂的实际图像上训练，从而实现稳定的权重调整。
• 渐进式上采样过程降低了在单步内学习高频细节的难度，提升了特征表示能力。
• 通过在各阶段分散学习负担，避免了对昂贵跳跃连接或深层监督的依赖。
• 最终输出通过一个卷积层生成，将上采样特征细化为高分辨率图像。

实验结果

研究问题

• RQ1 渐进式上采样策略是否能提升深度超分网络的质量与训练稳定性？
• RQ2 在复杂度逐步提升的样本上进行渐进式训练，是否能带来更好的特征学习与收敛性？
• RQ3 小规模上采样步骤是否在感知质量与PSNR/SSIM指标上优于单步大倍率上采样？
• RQ4 与现有基于CNN的超分方法相比，GUN架构在训练效率与视觉保真度方面表现如何？

主要发现

• GUN在多个基准数据集（包括DIV2K和Set5）上达到最先进性能，PSNR与SSIM得分均得到提升。
• 渐进式上采样策略显著提升了训练稳定性，并在重建图像中更好地保留了精细纹理与边缘。
• 渐进式训练方案相比从零开始的端到端训练，实现了更快的收敛速度与更优的性能。
• 视觉结果表明，GUN生成的超分图像比基线方法更清晰、更鲜艳、更自然。