[论文解读] Deep Networks for Compressed Image Sensing

Wuzhen Shi, Feng Jiang+2 more|arXiv (Cornell University)|Jul 22, 2017

Sparse and Compressive Sensing Techniques参考文献 7被引用 7

一句话总结

本文提出CSNet，一种深度学习框架，可联合学习优化的采样矩阵与深度重建网络，用于压缩图像感知。通过端到端训练，CSNet在重建质量（PSNR最高提升3.91 dB）和速度（每幅图像处理时间低于0.15秒）方面均优于当前最先进方法，实现了具有优异图像保真度和边缘保持能力的实时性能。

ABSTRACT

The compressed sensing (CS) theory has been successfully applied to image compression in the past few years as most image signals are sparse in a certain domain. Several CS reconstruction models have been recently proposed and obtained superior performance. However, there still exist two important challenges within the CS theory. The first one is how to design a sampling mechanism to achieve an optimal sampling efficiency, and the second one is how to perform the reconstruction to get the highest quality to achieve an optimal signal recovery. In this paper, we try to deal with these two problems with a deep network. First of all, we train a sampling matrix via the network training instead of using a traditional manually designed one, which is much appropriate for our deep network based reconstruct process. Then, we propose a deep network to recover the image, which imitates traditional compressed sensing reconstruction processes. Experimental results demonstrate that our deep networks based CS reconstruction method offers a very significant quality improvement compared against state of the art ones.

研究动机与目标

• 解决压缩感知中的两个核心挑战：最优采样矩阵设计与快速、高质量的图像重建。
• 通过深度学习，用可学习的、数据驱动的替代方案取代手工设计的采样矩阵（如高斯或托普利茨矩阵）。
• 开发一种快速、端到端的深度神经网络，模拟传统CS重建过程，但性能更优。
• 实现实时压缩图像感知，具备高重建质量，适用于实际应用。

提出的方法

• 采用三部分深度网络架构：(1) 可学习的采样子网络，替代传统固定采样矩阵。
• 初始重建子网络，从压缩测量中快速完成粗略恢复。
• 深度重建子网络，通过残差学习与跳跃连接迭代优化图像。
• 使用基于真实图像的监督损失函数进行端到端训练。
• 在反向传播过程中优化采样矩阵，使网络能够适应数据分布。
• 该架构受块压缩感知与平滑投影Landweber算法启发，将迭代优化整合进深度学习框架。

实验结果

研究问题

• RQ1 深度神经网络能否联合学习压缩感知中的最优采样矩阵与图像重建过程？
• RQ2 可学习的采样矩阵是否在图像重建质量上优于传统随机或结构化矩阵？
• RQ3 基于深度学习的重建方法能否同时实现高PSNR/SSIM与实时推理速度？
• RQ4 所提方法在重建质量与计算效率方面与当前最先进CS方法相比如何？

主要发现

• 在所有采样率（0.1至0.5）下，CSNet在Set5与Set14数据集上均达到最高PSNR与SSIM。
• 在Set5数据集上，采样率为0.1时，CSNet相比此前SOTA方法GSR，PSNR提升2.31 dB。
• 在Set14数据集上，CSNet相较DWT、TV与MH分别实现平均PSNR提升3.91 dB、3.71 dB与2.60 dB。
• CSNet每幅图像处理时间低于0.15秒，显著快于GSR（883秒）与MH（52秒），支持实时应用。
• 视觉结果表明，与竞争方法相比，CSNet能更好地保留更锐利的边缘与更精细的图像细节。
• 更深更宽的网络变体（10层，d=128）进一步提升了PSNR与SSIM，证实了模型容量增大的优势。