[论文解读] Image Super-Resolution via RL-CSC: When Residual Learning Meets Convolutional Sparse Coding

Menglei Zhang, Zhou Liu+1 more|arXiv (Cornell University)|Dec 31, 2018

Advanced Image Processing Techniques参考文献 36被引用 5

一句话总结

该论文提出了一种名为RL-CSC的新颖图像超分模型，通过将列表算法（LISTA）扩展为卷积、递归框架，将残差学习与卷积稀疏编码（CSC）相结合。通过利用残差连接和迭代CSC推理，RL-CSC在30层深度下实现了最先进性能，在Set5等基准数据集上的PSNR和视觉质量均优于更深的模型（如DRRN，52层；MemNet，80层）。

ABSTRACT

We propose a simple yet effective model for Single Image Super-Resolution (SISR), by combining the merits of Residual Learning and Convolutional Sparse Coding (RL-CSC). Our model is inspired by the Learned Iterative Shrinkage-Threshold Algorithm (LISTA). We extend LISTA to its convolutional version and build the main part of our model by strictly following the convolutional form, which improves the network's interpretability. Specifically, the convolutional sparse codings of input feature maps are learned in a recursive manner, and high-frequency information can be recovered from these CSCs. More importantly, residual learning is applied to alleviate the training difficulty when the network goes deeper. Extensive experiments on benchmark datasets demonstrate the effectiveness of our method. RL-CSC (30 layers) outperforms several recent state-of-the-arts, e.g., DRRN (52 layers) and MemNet (80 layers) in both accuracy and visual qualities. Codes and more results are available at https://github.com/axzml/RL-CSC.

研究动机与目标

• 通过整合稀疏编码与深度学习的原理，开发一种更具可解释性与效率的单图像超分辨率（SISR）深度学习模型。
• 解决现有模型缺乏理论可解释性，且在深层架构中存在训练不稳定性的问题。
• 通过在递归、可微分框架中结合残差学习与卷积稀疏编码，提升深层网络的性能与收敛性。
• 在保持或提升图像重建质量的同时，减少计算与内存开销，相较于现有深层网络更具优势。

提出的方法

• 该模型源自学习型迭代软阈值算法（LISTA），被扩展为卷积、递归形式，以保持空间一致性和可解释性。
• 通过递归应用卷积稀疏编码（CSC），从低分辨率特征图中学习高频细节，每次递归逐步优化稀疏表示。
• 通过学习当前与前一特征图之间的差异，引入残差学习，使网络更深的同时不增加额外参数。
• 采用端到端反向传播进行训练，所有层均可微分，且在空间位置间共享参数。
• 架构中避免使用批量归一化层，从而降低内存消耗与计算成本，同时提升训练稳定性。
• 模型采用固定递归次数（K=15至30），性能随递归深度增加而提升，即使不增加新参数。

实验结果

研究问题

• RQ1 能否通过结合残差学习与卷积稀疏编码，构建一个深层、可解释的SISR模型？
• RQ2 将LISTA扩展为卷积、递归框架，是否能提升图像重建质量与训练稳定性？
• RQ3 能否在不增加模型复杂度的前提下，通过增加递归深度实现性能提升？
• RQ4 所提出的RL-CSC模型在性能与效率方面，相较于DRRN和MemNet等最先进网络表现如何？

主要发现

• RL-CSC在30层时于×3缩放下于Set5数据集上达到34.02 dB的PSNR，优于DRRN（52层）与MemNet（80层）。
• 该模型仅含592k参数（对比VDSR的664k），在×3缩放下于Set5上达到33.78 dB的PSNR，超过VDSR的33.66 dB。
• 若不使用残差学习，训练无法收敛，PSNR始终维持在约6.54 dB，表明残差连接在实现深层训练中具有关键作用。
• 由于未使用批量归一化层，RL-CSC的GPU内存消耗显著低于DRRN——相同批量大小下分别为4,955 MB与9,263 MB。
• 递归深度从15增至30时，Set5在×3缩放下的PSNR从33.61 dB提升至34.02 dB，表明性能提升无需增加参数。
• 该模型在Titan Xp GPU上处理288×288图像仅需0.15秒，表明其推理效率极高。