[论文解读] Learning a Single Convolutional Super-Resolution Network for Multiple Degradations

Kai Zhang, Wangmeng Zuo+1 more|arXiv (Cornell University)|Dec 17, 2017

Advanced Image Processing Techniques参考文献 47被引用 58

一句话总结

This paper proposes SRMD, a single CNN that handles multiple and spatially variant degradations for image super-resolution by incorporating degradation information (blur kernel and noise level) as input through dimensionality stretching. It trains on synthetic degradations and achieves competitive results while being fast and scalable.

ABSTRACT

Recent years have witnessed the unprecedented success of deep convolutional neural networks (CNNs) in single image super-resolution (SISR). However, existing CNN-based SISR methods mostly assume that a low-resolution (LR) image is bicubicly downsampled from a high-resolution (HR) image, thus inevitably giving rise to poor performance when the true degradation does not follow this assumption. Moreover, they lack scalability in learning a single model to non-blindly deal with multiple degradations. To address these issues, we propose a general framework with dimensionality stretching strategy that enables a single convolutional super-resolution network to take two key factors of the SISR degradation process, i.e., blur kernel and noise level, as input. Consequently, the super-resolver can handle multiple and even spatially variant degradations, which significantly improves the practicability. Extensive experimental results on synthetic and real LR images show that the proposed convolutional super-resolution network not only can produce favorable results on multiple degradations but also is computationally efficient, providing a highly effective and scalable solution to practical SISR applications.

研究动机与目标

• 通过使单一模型能够处理多种且空间变异的降级，来解决只针对单一双三次降降级训练的 SISR 模型的实际局限性。
• 提出一个降级感知的 CNN 框架，在超分辨过程中同时考虑模糊和噪声。
• 开发一种使用合成降级的简单、可扩展的训练策略，以实现真实世界的适用性。
• 提供对基于 MAP 的 SR 中 CNN 解释的见解，并证明设计选择的合理性。

提出的方法

• 通过将低分辨率图像与编码模糊核和噪声水平的降级图拼接，并通过维度拉伸策略来实现，采用一个降级感知的 CNN。
• 对模糊核进行向量化，使用 PCA 投影到 t 维空间，并与噪声水平一起形成大小为 W x H x (t+1) 的降级图。
• 使用一个简单的 CNN，12 层、3x3 卷积核，ReLU，以及批量归一化，外加一个最终的子像素卷积层来生成高分辨率图像。
• 训练尺度因子为 2、3、4 的分离模型，包括通过对 SRMD 微调得到的无噪声变体 SRMDNF。
• 通过对大规模干净的高分辨率图像集应用各向同性/各向异性高斯模糊、双三次下采样，以及 AWGN 来合成训练数据。
• 在 MAP 启发的视角下将 SR 问题公式化，推动同时学习数据保真度和先验，利用降级输入使单一模型能够处理多种降级。

实验结果

研究问题

• RQ1 单一模型是否能够有效处理多种且空间变异的降级以实现 SISR？
• RQ2 是否可行使用合成数据来训练一个实用的、降级感知的 SR 模型，并将其迁移到真实的 LR 图像？
• RQ3 将模糊核和噪声水平作为输入加入，是否能比基于双三次降级的模型在 SR 性能上有所提升？
• RQ4 在一般和空间变异降级下，降级感知 CNN 与基于模型的优化和其他基于 CNN 的 SR 方法相比有何表现？

主要发现

• SRMD 在标准双三次基准测试上实现有竞争力的 PSNR/SSIM，接近或超越在尺度因子 2、3、4 的最先进的基于 CNN 的 SR 方法（如 SRMD 对比 VDSR：在尺度 2 时相当；在较大尺度时 SRMD 更优；SRMDNF 在若干集合上给出最佳的整体 PSNR/SSIM。
• SRMDNF（无噪声）在大多数情况下提供最佳的整体定量结果，例如在 Set5 的尺度为 4 时，SRMDNF 的 PSNR/SSIM 为 31.96 / 0.893（见表 1）。
• 该方法对超越双三次的通用降级显示出较强的泛化能力，优于 NCSR 和 IRCNN，并在模糊宽度增加时超越级联 DnCNN+SRMDNF 的 PSNR 增益。
• SRMD 对空间变异降级表现良好， qualitative 结果显示在不同模糊/噪声图下恢复的边缘和纹理。
• 该方法在实际场景中具有实用性能，运行速度快（如 SRMD 以 0.027–0.084 秒重建 1024x1024 图像，具体取决于尺度）。
• 在真实 LR 图像上的实验表明，SRMD 提供更具视觉可信度的高分辨率结果和更好的边缘保留性，优于与之竞争的方法如 VDSR 和 Waifu2x。