[论文解读] Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding

Wu, Fangfang, Weisheng Dong+2 more|arXiv (Cornell University)|Jul 18, 2018

Advanced Image Processing Techniques参考文献 5被引用 4

一句话总结

该论文通过将从深度卷积神经网络（DCNNs）学习到的外部先验与通过结构化分析稀疏编码（SASC）从输入退化图像中估计的内部先验相结合，提出了一种混合稀疏先验，用于图像复原。该方法结合了大规模训练数据和图像固有结构，以提升复原性能，在去噪和超分辨率任务中取得了最先进结果。

ABSTRACT

State-of-the-art approaches toward image restoration can be classified into model-based and learning-based. The former - best represented by sparse coding techniques - strive to exploit intrinsic prior knowledge about the unknown high-resolution images; while the latter - popularized by recently developed deep learning techniques - leverage external image prior from some training dataset. It is natural to explore their middle ground and pursue a hybrid image prior capable of achieving the best in both worlds. In this paper, we propose a systematic approach of achieving this goal called Structured Analysis Sparse Coding (SASC). Specifically, a structured sparse prior is learned from extrinsic training data via a deep convolutional neural network (in a similar way to previous learning-based approaches); meantime another structured sparse prior is internally estimated from the input observation image (similar to previous model-based approaches). Two structured sparse priors will then be combined to produce a hybrid prior incorporating the knowledge from both domains. To manage the computational complexity, we have developed a novel framework of implementing hybrid structured sparse coding processes by deep convolutional neural networks. Experimental results show that the proposed hybrid image restoration method performs comparably with and often better than the current state-of-the-art techniques.

研究动机与目标

• 通过融合外部先验与内部先验，解决纯学习方法或模型驱动方法的局限性。
• 构建一个系统化的框架，将结构化稀疏编码与深度学习相结合，以提升图像复原性能。
• 通过设计基于深度网络的实现方式，降低混合稀疏编码中的计算复杂度。
• 在训练数据无法覆盖所有纹理或图案的挑战性图像上，提升复原性能。

提出的方法

• 使用深度卷积神经网络，从大规模训练数据集中学习外部结构化稀疏先验。
• 通过自相似性和稀疏表示，直接从输入退化图像中估计内部结构化稀疏先验。
• 将两种结构化稀疏先验结合，形成融合外部数据知识与内部图像结构知识的混合先验。
• 设计一种新颖的深度网络框架，以高效实现混合结构化稀疏编码过程。
• 采用结构化分析稀疏编码（SASC）公式，在学习到的变换域中对图像块施加稀疏性约束。
• 在超分辨率任务中，使用增强的低分辨率/高分辨率图像块对，为不同缩放因子训练独立的网络。

实验结果

研究问题

• RQ1 将外部深度学习先验与内部稀疏编码先验相结合，能否提升图像复原性能？
• RQ2 如何系统性地构建混合先验，以同时利用训练数据和图像内在结构？
• RQ3 集成内部先验对复原训练数据中罕见或缺失纹理的图像有何影响？
• RQ4 深度网络能否在不损失精度的前提下，高效实现混合结构化稀疏编码？
• RQ5 所提出方法在去噪和超分辨率任务中是否优于当前最先进学习方法与模型驱动方法？

主要发现

• 在Set10数据集的‘barbara’图像上去噪任务中，该方法达到27.73 dB的PSNR，优于EPLL（25.70 dB）和IR-CNN（27.38 dB）。
• 在Set5数据集上，超分缩放因子为3时，该方法达到35.56 dB的PSNR，优于SRCNN（35.25 dB）、VDSR（35.38 dB）和DRCN（35.50 dB）。
• 在Urban100数据集上，缩放因子为4时，该方法达到25.33 dB的PSNR，优于TNRD（24.52 dB）、SRCNN（24.52 dB）、VDSR（25.14 dB）和DRCN（24.94 dB）。
• 视觉结果表明，该方法在文本和精细图案等困难区域能更优地保留细小纹理与边缘。
• 混合先验框架对分布偏移具有鲁棒性，在训练数据中罕见纹理的图像上，表现优于纯学习方法。
• 基于网络的SASC实现方式在保持高复原精度的同时，实现了高效的计算。