[论文解读] Image Restoration from Patch-based Compressed Sensing Measurement

Guangtao Nie, Ying Fu+2 more|arXiv (Cornell University)|Jun 2, 2017

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出一种非迭代的、基于深度学习的方法，利用基于图像块的压缩感知（CS）测量进行图像恢复，采用级联残差卷积神经网络。该方法有效消除了基于图像块的CS重建中常见的方块伪影，同时在合成数据和真实数据上均实现了高速度和优于最先进方法的性能。

ABSTRACT

A series of methods have been proposed to reconstruct an image from compressively sensed random measurement, but most of them have high time complexity and are inappropriate for patch-based compressed sensing capture, because of their serious blocky artifacts in the restoration results. In this paper, we present a non-iterative image reconstruction method from patch-based compressively sensed random measurement. Our method features two cascaded networks based on residual convolution neural network to learn the end-to-end full image restoration, which is capable of reconstructing image patches and removing the blocky effect with low time cost. Experimental results on synthetic and real data show that our method outperforms state-of-the-art compressive sensing (CS) reconstruction methods with patch-based CS measurement. To demonstrate the effectiveness of our method in more general setting, we apply the de-block process in our method to JPEG compression artifacts removal and achieve outstanding performance as well.

研究动机与目标

• 解决现有基于图像块测量的压缩感知重建方法中存在的高时间复杂度和方块伪影问题。
• 开发一种端到端的图像恢复框架，高效地从逐块CS测量中重建完整图像。
• 在保持或提升重建质量的同时，降低计算成本，相比迭代式CS方法。
• 通过将去块组件应用于JPEG伪影去除，展示其泛化能力。

提出的方法

• 该方法采用两个级联的残差卷积神经网络（ResNets），从基于图像块的压缩感知测量中端到端学习图像恢复。
• 第一个网络从其压缩测量中重建单个图像块，利用学习到的残差映射。
• 第二个网络对重建的图像块进行精细化处理，以抑制方块伪影并提升视觉质量。
• 该架构为非迭代设计，相比传统的基于优化的CS方法，实现了低时间成本的快速推理。
• 去块模块经过训练，具备泛化能力，可应用于JPEG伪影去除并表现出优异性能。
• 模型通过监督学习在配对的压缩测量与真实图像上进行端到端训练。

实验结果

研究问题

• RQ1 非迭代的深度学习方法能否以低计算成本有效恢复基于图像块的压缩感知测量中的图像？
• RQ2 级联CNN架构在基于图像块的CS重建中，对抑制方块伪影的效果如何？
• RQ3 为CS重建开发的去块组件是否能泛化到其他退化类型，例如JPEG压缩伪影？
• RQ4 所提出方法在定量和定性上与最先进CS重建技术相比表现如何？

主要发现

• 与最先进方法相比，该方法在合成和真实世界基于图像块的CS测量上均实现了更优的重建质量。
• 显著减少了常见于基于图像块的CS重建中的方块伪影，提升了视觉保真度。
• 由于非迭代设计，该方法具有较低的时间复杂度，支持快速推理。
• 去块组件泛化能力强，在去除JPEG压缩伪影方面表现优异。
• 定量结果表明，在基准数据集上，该方法的PSNR和SSIM值均优于现有方法。
• 该方法表现出强大的泛化能力，在真实数据上的表现良好，不仅限于合成测试案例。