[论文解读] Deep Sparse Coding Using Optimized Linear Expansion of Thresholds

Debabrata Mahapatra, Subhadip Mukherjee+1 more|arXiv (Cornell University)|May 20, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用 13

一句话总结

该论文提出一种基于线性阈值展开（LET）的可学习激活函数的深度神经网络（DNN），通过展开FISTA算法实现从压缩噪声测量中恢复稀疏信号。该网络采用Hessian-free优化方法，每层仅训练五个参数，与最先进稀疏编码方法相比，重建信噪比（SNR）提升3–4 dB，且性能与残差网络相当，但层数仅为一半。

ABSTRACT

We address the problem of reconstructing sparse signals from noisy and compressive measurements using a feed-forward deep neural network (DNN) with an architecture motivated by the iterative shrinkage-thresholding algorithm (ISTA). We maintain the weights and biases of the network links as prescribed by ISTA and model the nonlinear activation function using a linear expansion of thresholds (LET), which has been very successful in image denoising and deconvolution. The optimal set of coefficients of the parametrized activation is learned over a training dataset containing measurement-sparse signal pairs, corresponding to a fixed sensing matrix. For training, we develop an efficient second-order algorithm, which requires only matrix-vector product computations in every training epoch (Hessian-free optimization) and offers superior convergence performance than gradient-descent optimization. Subsequently, we derive an improved network architecture inspired by FISTA, a faster version of ISTA, to achieve similar signal estimation performance with about 50% of the number of layers. The resulting architecture turns out to be a deep residual network, which has recently been shown to exhibit superior performance in several visual recognition tasks. Numerical experiments demonstrate that the proposed DNN architectures lead to 3 to 4 dB improvement in the reconstruction signal-to-noise ratio (SNR), compared with the state-of-the-art sparse coding algorithms.

研究动机与目标

• 通过深度学习提升从噪声压缩测量中恢复稀疏信号的性能。
• 设计一种模仿迭代阈值收缩算法（如FISTA）的DNN架构，引入可学习非线性激活函数以提升性能。
• 通过Hessian-free优化实现高效训练，避免显式计算Hessian矩阵。
• 减少网络层数的同时保持性能，形成类似残差网络的结构。
• 与经典稀疏编码方法及最先进方法相比，实现更优的重建SNR。

提出的方法

• 网络架构通过展开FISTA算法获得，每层固定权重和偏置，与ISTA/FISTA一致。
• 非线性激活函数采用参数化线性阈值展开（LET）建模，初始值设为软阈值。
• 最优LET系数通过自定义的Hessian-free优化算法学习，仅计算Hessian-向量乘积。
• 训练过程采用二阶优化方法，内存开销极小，实现快速收敛。
• 所得网络为深度残差网络（DRN）变体，与标准FISTA-based DNN相比，层数减少约50%，性能仍保持优异。
• 方法在固定传感矩阵下，使用测量-稀疏信号对进行训练，通过SNR和支撑恢复指标评估性能。

实验结果

研究问题

• RQ1 通过Hessian-free优化训练的深度神经网络是否能在压缩测量信号重建中超越经典稀疏编码算法？
• RQ2 基于线性阈值展开（LET）的可学习激活函数是否能提升稀疏恢复性能，超越标准软阈值？
• RQ3 将FISTA展开为具有共享权重和可学习LET激活的DNN，是否能在更少层数下实现比标准DNN更高的重建SNR？
• RQ4 层间参数共享在多大程度上影响性能？网络是否仍能超越最先进方法？
• RQ5 网络在推理过程中支撑稳定行为与SNR提升之间是否存在相关性？

主要发现

• 所提出的fLETnet架构相比最先进稀疏编码算法，重建信噪比（SNR）提升3–4 dB。
• 网络性能与完整残差网络（DRN）相当，但层数减少约50%，表明具有极高的样本效率。
• Hessian-free优化实现更快收敛和更优的训练性能，优于标准梯度下降。
• 层间共享LET参数仅导致约2 dB SNR下降，仍比竞争方法高出2–3 dB。
• 网络在推理早期即稳定支撑估计，此后主要执行幅度回归，SRM分析证实该现象。
• 通过学习获得层特定正则化项，其整体性能优于标准ℓ₁正则化在稀疏恢复中的表现。