[论文解读] Local Patch Classification Based Framework for Single Image Super-Resolution.

Yang Zhao, Ronggang Wang+4 more|arXiv (Cornell University)|Mar 12, 2017

Advanced Image Processing Techniques参考文献 55被引用 4

一句话总结

本文提出了一种基于局部块分类（LPC）的新型单图像超分辨率框架，该框架利用局部块编码（LPE）对图像块进行分类，并采用特定类别的投影矩阵进行重建。该方法在保持高效率和强可扩展性的同时，实现了具有竞争力的性能，通过采用简单而有效的基于分类的重建策略，超越了传统的字典学习方法。

ABSTRACT

Recent learning-based super-resolution (SR) methods often focus on the dictionary learning or network training. In this paper, we detailedly discuss a new SR framework based on local classification instead of traditional dictionary learning. The proposed efficient and extendible SR framework is named as local patch classification (LPC) based framework. The LPC framework consists of a learning stage and a reconstructing stage. In the learning stage, image patches are classified into different classes by means of the proposed local patch encoding (LPE), and then a projection matrix is computed for each class by utilizing a simple constraint. In the reconstructing stage, an input LR patch can be simply reconstructed by computing its LPE code and then multiplying corresponding projection matrix. Furthermore, we establish the relationship between the proposed method and the anchored neighborhood regression based methods; and we also analyze the extendibility of the proposed framework. The experimental results on several image sets demonstrate the effectiveness of the proposed framework.

研究动机与目标

• 为解决传统字典学习在超分辨率任务中的局限性，提出一种新的基于学习的框架。
• 通过基于分类的方法而非复杂的字典学习，提升重建效率与可扩展性。
• 建立所提出的LPC框架与锚定邻域回归方法之间的清晰关联。
• 展示该框架在未来增强和与其他方法集成方面的可扩展性。

提出的方法

• 该框架分为两个阶段：学习阶段和重建阶段。
• 在学习阶段，利用所提出的局部块编码（LPE）技术将图像块划分为不同的类别。
• 针对每一类，通过一个简单约束计算投影矩阵，用于将低分辨率块映射到高分辨率对应块。
• 在重建阶段，输入的低分辨率块通过LPE进行编码，并应用对应的投影矩阵生成高分辨率输出。
• 该方法在理论和结构上与锚定邻域回归方法建立了联系，突出了基于块重建中的共同原理。
• 该框架设计具有可扩展性，可集成额外的块分类或表征学习技术。

实验结果

研究问题

• RQ1 与传统字典学习相比，局部块分类在提升单图像超分辨率效率和性能方面有何优势？
• RQ2 所提出的LPC框架与基于锚定邻域回归的方法之间存在何种关系？
• RQ3 LPC框架在多大程度上可被扩展或适配用于其他图像恢复任务？
• RQ4 使用特定类别的投影矩阵如何提升重建精度与速度？

主要发现

• 所提出的LPC框架在多个基准图像数据集上实现了具有竞争力的超分辨率性能。
• 由于每类使用预先计算的投影矩阵，该方法表现出极高的效率。
• 该框架展现出强大的可扩展性，可在未来集成更先进的块表征或分类技术。
• 实验结果证实，LPC方法在重建质量与计算效率方面均优于传统的基于字典学习的方法。