[论文解读] A Deep Learning Approach to Block-based Compressed Sensing of Images

Amir Adler, David Boublil+2 more|arXiv (Cornell University)|Jun 5, 2016

Sparse and Compressive Sensing Techniques参考文献 16被引用 36

一句话总结

本文提出了一种深度学习框架，通过全连接神经网络联合优化基于块的压缩感知（BCS）感知矩阵与非线性重建，实现了最先进的图像重建质量，并在25%的感知率下实现计算速度超过200倍的提升，相比现有方法PSNR增益达0.77 dB，且相比全图TV-based CS实现1600倍加速。

ABSTRACT

Compressed sensing (CS) is a signal processing framework for efficiently reconstructing a signal from a small number of measurements, obtained by linear projections of the signal. Block-based CS is a lightweight CS approach that is mostly suitable for processing very high-dimensional images and videos: it operates on local patches, employs a low-complexity reconstruction operator and requires significantly less memory to store the sensing matrix. In this paper we present a deep learning approach for block-based CS, in which a fully-connected network performs both the block-based linear sensing and non-linear reconstruction stages. During the training phase, the sensing matrix and the non-linear reconstruction operator are \emph{jointly} optimized, and the proposed approach outperforms state-of-the-art both in terms of reconstruction quality and computation time. For example, at a 25% sensing rate the average PSNR advantage is 0.77dB and computation time is over 200-times faster.

研究动机与目标

• 为解决高分辨率图像与视频全图压缩感知（CS）带来的高内存与计算成本问题。
• 通过联合学习感知矩阵与非线性重建算子，提升基于块的CS（BCS）的重建质量与速度。
• 克服传统BCS方法中使用固定变换及感知与重建阶段分离的局限性。
• 证明端到端深度学习在PSNR与计算时间方面可显著优于经典与当前最先进BCS方法。

提出的方法

• 采用全连接深度神经网络，联合学习基于块的CS的线性感知矩阵与非线性重建算子。
• 网络处理大小为$16\times16$像素的图像块，先应用感知变换，再通过多层非线性重建。
• 通过反向传播联合优化感知矩阵与重建权重，无需手工设计变换。
• 使用包含$5\times10^6$张图像块的大规模数据集进行训练，采用重建块与原始块之间的L1损失。
• 块重建独立进行，随后拼接并使用平滑滤波器后处理，以减少块效应。
• 网络架构包含冗余因子（T）与可变数量的隐藏层（K），超参数通过消融实验调优。

实验结果

研究问题

• RQ1 深度神经网络能否在基于块的压缩感知中联合优化感知矩阵与重建算子，从而超越经典与当前最先进方法？
• RQ2 块大小、网络冗余与隐藏层数量的选择如何影响BCS中的重建质量与计算效率？
• RQ3 端到端深度学习在压缩图像重建中，能在多大程度上降低计算时间，同时提升PSNR与SSIM？
• RQ4 所提方法在低感知率下是否显著优于全图总变差（Total Variation-based）CS方法？

主要发现

• 在25%的感知率下，所提方法平均PSNR达32.15 dB，SSIM达0.976，相比次优方法MH-MS-BCS-SPL在PSNR上提升0.77 dB。
• 在R=0.25时，所提方法计算速度比当前最先进方法MH-MS-BCS-SPL快逾200倍，单张$512\times512$图像的计算时间仅为0.80秒。
• 与全图总变差（Total Variation-based）CS相比，所提方法实现1600倍加速，后者在相同图像尺寸与感知率下耗时1675.09秒。
• 消融实验表明，最优性能在块大小为$16\times16$、冗余因子T=8、两层隐藏重建结构下达成。
• 视觉对比显示，与所有基线方法相比，本方法在减少块效应与更好保留细节方面表现更优。
• 在从0.1到0.3的全感知率范围内，本方法在包括'lena'、'barbara'、'cameraman'与'boats'在内的多样化测试图像上均保持一致的性能优势。