[论文解读] ConvCSNet: A Convolutional Compressive Sensing Framework Based on Deep Learning

Xiaotong Lu, Weisheng Dong+3 more|arXiv (Cornell University)|Jan 31, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 27

一句话总结

该论文提出ConvCSNet，一种基于深度学习的卷积压缩感知框架，通过可学习的卷积滤波器而非分块测量来感知并重建整幅图像。通过端到端训练联合优化感知滤波器与双分支CNN重建网络，ConvCSNet在显著减少块效应伪影的同时，实现比传统方法快达1,030倍的推理速度，且在多个数据集和噪声水平下，PSNR与视觉质量均优于当前最先进的压缩感知技术。

ABSTRACT

Compressive sensing (CS), aiming to reconstruct an image/signal from a small set of random measurements has attracted considerable attentions in recent years. Due to the high dimensionality of images, previous CS methods mainly work on image blocks to avoid the huge requirements of memory and computation, i.e., image blocks are measured with Gaussian random matrices, and the whole images are recovered from the reconstructed image blocks. Though efficient, such methods suffer from serious blocking artifacts. In this paper, we propose a convolutional CS framework that senses the whole image using a set of convolutional filters. Instead of reconstructing individual blocks, the whole image is reconstructed from the linear convolutional measurements. Specifically, the convolutional CS is implemented based on a convolutional neural network (CNN), which performs both the convolutional CS and nonlinear reconstruction. Through end-to-end training, the sensing filters and the reconstruction network can be jointly optimized. To facilitate the design of the CS reconstruction network, a novel two-branch CNN inspired from a sparsity-based CS reconstruction model is developed. Experimental results show that the proposed method substantially outperforms previous state-of-the-art CS methods in term of both PSNR and visual quality.

研究动机与目标

• 解决基于分块的压缩感知（BCS）方法中因独立处理图像分块而产生的块效应伪影问题。
• 克服传统压缩感知（CS）框架中全图随机感知矩阵带来的高内存与计算成本。
• 开发一种基于深度学习的CS框架，实现感知与重建的联合优化，以提升速度与精度。
• 设计一种受基于稀疏性的CS重建模型启发的新型双分支CNN架构，以增强图像恢复性能。
• 实现在低采样率下实时、高保真度的图像重建，且不损害视觉质量。

提出的方法

• 该框架用可学习的小型滤波器卷积层替代分块高斯随机感知，实现一次操作完成整幅图像的感知。
• 感知操作被实现为具有共享权值的小型卷积，从而降低内存占用并提升计算效率。
• 设计双分支CNN用于重建，其中一支建模稀疏性先验，另一支学习残差特征，模仿传统基于稀疏性的CS求解器。
• 整个网络通过端到端训练联合优化卷积感知滤波器与重建网络参数。
• 通过使用小型可学习滤波器避免存储大型感知矩阵，从而实现在标准硬件上的部署。
• 卷积后进行下采样以降低测量维度，保持压缩感知原理的同时实现全图重建。

实验结果

研究问题

• RQ1 能否设计一种卷积神经网络框架，对整幅图像而非分块执行压缩感知，从而消除块效应伪影？
• RQ2 能否通过CNN的端到端训练联合优化感知滤波器与重建网络，以提升重建质量与速度？
• RQ3 将基于稀疏性的CS模型中的领域知识融入深度学习架构，是否能带来优于纯端到端学习方法的性能？
• RQ4 与当前最先进的基于优化与深度学习的CS方法相比，所提方法在PSNR、视觉质量与推理速度方面表现如何？
• RQ5 所提框架能否在极低测量率（如5%）下保持高性能，同时避免伪影？

主要发现

• 在无噪声条件下，ConvCSNet在BSD100数据集上以5%测量率实现26.47 dB的PSNR，优于次优方法（FCN-CS）0.55 dB。
• 在10%测量率下，ConvCSNet在BSD100上实现28.19 dB的PSNR，超过D-AMP（27.66 dB）与FCN-CS（27.54 dB）。
• 在10%测量率的噪声条件下，ConvCSNet在BSD100上实现28.09 dB的PSNR，显著优于D-AMP（23.72 dB）与FCN-CS（27.29 dB）。
• 该方法在GPU上仅用0.08秒即可重建一幅255×255的图像，比TV方法（82.47秒）快1,030倍，比D-AMP（60.79秒）快760倍。
• 视觉对比显示，即使在5%测量率下，ConvCSNet生成的图像也几乎无伪影，而其他方法则表现出严重的块效应与模糊。
• 消融实验表明，所提出的双分支重建网络至关重要，因缺少该结构的基线版本在PSNR上最多低0.3 dB。