[论文解读] Deep Networks for Image Super-Resolution with Sparse Prior

Zhaowen Wang, Ding Liu+3 more|arXiv (Cornell University)|Jul 31, 2015

Advanced Image Processing Techniques参考文献 31被引用 123

一句话总结

本文提出一种基于稀疏编码的深度神经网络架构（SCN），将领域特定的稀疏编码先验与端到端深度学习相结合，用于图像超分辨率。通过使网络结构与迭代稀疏编码步骤相匹配，并利用反向传播实现联合训练，该方法在保持更小模型尺寸和更快训练速度的同时，实现了优于当前最先进深度学习模型的重建精度和感知质量。

ABSTRACT

Deep learning techniques have been successfully applied in many areas of computer vision, including low-level image restoration problems. For image super-resolution, several models based on deep neural networks have been recently proposed and attained superior performance that overshadows all previous handcrafted models. The question then arises whether large-capacity and data-driven models have become the dominant solution to the ill-posed super-resolution problem. In this paper, we argue that domain expertise represented by the conventional sparse coding model is still valuable, and it can be combined with the key ingredients of deep learning to achieve further improved results. We show that a sparse coding model particularly designed for super-resolution can be incarnated as a neural network, and trained in a cascaded structure from end to end. The interpretation of the network based on sparse coding leads to much more efficient and effective training, as well as a reduced model size. Our model is evaluated on a wide range of images, and shows clear advantage over existing state-of-the-art methods in terms of both restoration accuracy and human subjective quality.

研究动机与目标

• 通过引入稀疏编码中的领域知识，解决纯数据驱动的深度学习模型在图像超分辨率中的局限性。
• 通过将稀疏编码的物理意义嵌入深度网络架构，提升训练效率并增强模型紧凑性。
• 通过设计级联网络结构，实现对超分辨率因子的灵活调节。
• 通过利用稀疏表示中的结构化先验，提升感知图像质量，超越仅依赖PSNR指标的优化。
• 证明将手工设计的先验与深度学习结合，可获得优于单一方法的性能。

提出的方法

• 构建一个前馈神经网络（SCN），其中每一层直接对应稀疏编码优化过程的一轮迭代，将稀疏表示先验嵌入网络结构中。
• 使用反向传播对SCN进行端到端训练，使所有组件（包括字典和系数学习）能够联合优化。
• 基于每一层的物理意义设计合理的初始化策略，提升优化速度和收敛质量。
• 设计一个由多个SCN组成的级联网络（CSCN），以处理任意且较大的缩放因子，灵感来源于图像块的自相似性。
• 实现多尺度损失函数，以支持CSCN的端到端训练，提升在不同缩放因子下的鲁棒性与性能。
• 利用稀疏编码的结构不变性，保持高保真度的纹理和边缘恢复，同时最小化伪影。

实验结果

研究问题

• RQ1 能否将领域特定的先验（如稀疏编码）有效嵌入深度神经网络架构中，以实现图像超分辨率？
• RQ2 在将稀疏编码先验整合到深度学习中时，是否能在定量指标（如PSNR）和主观视觉质量方面均优于纯数据驱动的模型？
• RQ3 基于稀疏编码原理构建的深度网络是否能在保持高性能的同时实现更快的训练速度和更小的模型尺寸？
• RQ4 级联网络结构如何提升大缩放因子下的可扩展性并减少伪影？
• RQ5 引入稀疏编码先验在多大程度上能提升感知质量，超越仅基于PSNR的优化？

主要发现

• 在Set5数据集上，CSCN模型在×3缩放下达到37.14 dB的PSNR，比之前的SOTA CNN模型高出0.22 dB。
• 在Set14数据集上，CSCN在×3缩放下达到33.26 dB的PSNR，比CNN模型高出0.30 dB，比SC模型高出0.42 dB。
• 在主观评价中，CSCN显著优于所有对比方法（包括CNN和稀疏编码），感知视觉质量得分（0.8908）高于CNN（0.7910）。
• 在'chip'和'zebra'图像的视觉对比中，模型有效减少了如振铃和模糊等伪影，尤其在细小结构和边缘区域表现更优。
• 与其它稀疏编码扩展方法相比，CSCN在PSNR上实现了0.3–1.6 dB的增益，证明了级联架构的有效性。
• 由于结构化初始化和参数量减少，SCN模型得益于稀疏编码先验的整合，实现了更快的训练速度和更小的模型尺寸。