[论文解读] Learning step sizes for unfolded sparse coding

Pierre Ablin, Thomas Moreau+2 more|arXiv (Cornell University)|May 27, 2019

Sparse and Compressive Sensing Techniques参考文献 34被引用 4

一句话总结

该论文提出Step-LISTA（SLISTA），一种仅学习迭代软阈值算法（ISTA）中步长的神经网络架构，显著加速了稀疏解的收敛。理论上，证明了任意收敛的LISTA网络的深层都会退化为使用学习步长的ISTA；实验上，SLISTA在高稀疏性条件下优于最先进方法，同时保持了字典结构。

ABSTRACT

Sparse coding is typically solved by iterative optimization techniques, such as the Iterative Shrinkage-Thresholding Algorithm (ISTA). Unfolding and learning weights of ISTA using neural networks is a practical way to accelerate estimation. In this paper, we study the selection of adapted step sizes for ISTA. We show that a simple step size strategy can improve the convergence rate of ISTA by leveraging the sparsity of the iterates. However, it is impractical in most large-scale applications. Therefore, we propose a network architecture where only the step sizes of ISTA are learned. We demonstrate that for a large class of unfolded algorithms, if the algorithm converges to the solution of the Lasso, its last layers correspond to ISTA with learned step sizes. Experiments show that our method is competitive with state-of-the-art networks when the solutions are sparse enough.

研究动机与目标

• 通过学习自适应步长，加速ISTA在稀疏编码中的收敛速度。
• 开发一种仅学习步长的实用神经网络架构，避免完全参数化。
• 从理论上证明为何学习ISTA网络的深层必须收敛至使用学习步长的ISTA。
• 验证仅学习步长即可在高稀疏性条件下获得与最先进方法相当的性能。
• 保持字典结构，使其适用于卷积或小波基模型等结构化设置。

提出的方法

• 提出Oracle-ISTA，一种基于稀疏感知Lipschitz常数的解析策略，用于计算更大、自适应的步长，提升ISTA的收敛速度。
• 引入Step-LISTA（SLISTA），一种神经网络，其中每层仅学习步长参数α，而字典D保持固定。
• 采用可微的逐层更新规则：z^(t+1) = ST(z^(t) - α^(t) D^T(Dz^(t) - x), λα^(t))，其中α^(t)为可学习参数。
• 在定理4.4中理论上证明：任意收敛LISTA网络的最深层必须对应于使用学习步长的ISTA，即W^(t) → D 且 α^(t)/β^(t) → 1。
• 通过无监督损失在合成数据和半真实数据（如MNIST数字）上训练SLISTA，最小化重构误差。
• 通过不同正则化参数λ下的测试损失曲线验证性能，与ISTA、LISTA和ALISTA进行比较。

实验结果

研究问题

• RQ1 仅学习ISTA中的步长是否能显著提升稀疏编码的收敛速度？
• RQ2 在深层学习ISTA网络中，为何会出现学习步长？其理论依据是什么？
• RQ3 在高稀疏性条件下，SLISTA与完整LISTA和ALISTA相比，在测试损失和收敛速度上有何差异？
• RQ4 SLISTA中保持字典结构是否能提升在结构化设置下的泛化能力或可扩展性？
• RQ5 ALISTA为何在无监督设置下无法收敛？这与理论发现有何关联？

主要发现

• 在高正则化参数（λ = 0.8）下，SLISTA的测试损失优于LISTA和ALISTA，表明其在高稀疏性条件下性能更优。
• 在低稀疏性（低λ）条件下，LISTA表现最佳，因为SLISTA在解不够稀疏时无法从更大步长中获益。
• 定理4.4确认：任意收敛LISTA网络的最深层必须退化为使用学习步长的ISTA，验证了SLISTA架构设计的合理性。
• 实验结果表明，在训练后的SLISTA网络中，α^(t)/β^(t)W^(t)收敛至D，证实了权重与字典的理论对齐。
• SLISTA保持了字典结构，因此适用于卷积或小波基稀疏编码，支持快速矩阵乘法。
• ALISTA在无监督设置下无法收敛，与定理4.4一致，该定理表明W_ALISTA无法与D对齐，除非学习步长。