[论文解读] Maximal Sparsity with Deep Networks?

Bo Xin, Yizhou Wang+2 more|arXiv (Cornell University)|May 5, 2016

Sparse and Compressive Sensing Techniques参考文献 37被引用 96

一句话总结

本文提出一种深度学习方法，在恢复最大稀疏表示方面优于传统稀疏估计算法，尤其在字典相干性较高（受限等距常数较大）时表现更优。通过端到端训练学习层权重，而非使用固定算法更新，该网络在标准方法失效的区域仍能实现更高的稀疏恢复精度，已在含稀疏异常值的光度立体问题中得到验证。

ABSTRACT

The iterations of many sparse estimation algorithms are comprised of a fixed linear filter cascaded with a thresholding nonlinearity, which collectively resemble a typical neural network layer. Consequently, a lengthy sequence of algorithm iterations can be viewed as a deep network with shared, hand-crafted layer weights. It is therefore quite natural to examine the degree to which a learned network model might act as a viable surrogate for traditional sparse estimation in domains where ample training data is available. While the possibility of a reduced computational budget is readily apparent when a ceiling is imposed on the number of layers, our work primarily focuses on estimation accuracy. In particular, it is well-known that when a signal dictionary has coherent columns, as quantified by a large RIP constant, then most tractable iterative algorithms are unable to find maximally sparse representations. In contrast, we demonstrate both theoretically and empirically the potential for a trained deep network to recover minimal $\ell_0$-norm representations in regimes where existing methods fail. The resulting system is deployed on a practical photometric stereo estimation problem, where the goal is to remove sparse outliers that can disrupt the estimation of surface normals from a 3D scene.

研究动机与目标

• 解决传统稀疏估计算法在字典相干性较高（受限等距常数较大）时难以恢复最大稀疏解的局限性。
• 探究具有可学习权重的深度神经网络是否可作为高相干性区域中迭代稀疏恢复算法的更优替代方案。
• 证明端到端训练的深度网络可在标准方法失效的区域实现精确支持恢复和最小ℓ₀-范数解。
• 在涉及稀疏异常值的现实世界光度立体问题中验证该方法，该问题涉及鲁棒的表面法向估计。

提出的方法

• 将迭代稀疏恢复算法重新表述为具有共享手工设计权重的深度网络，然后用判别性训练的、逐层特定的权重替代这些权重。
• 网络架构设计为迭代硬阈值（IHT）的深度展开，包含可学习的滤波器和阈值组件。
• 支持模板基于估计的支持动态更新，实现部分支持恢复并改善收敛性。
• 采用改进的IHT更新规则，通过聚类中心和活动分量构成的压缩字典，提升稳定性和稀疏性。
• 采用两阶段过程：首先识别聚类中心；其次利用已知支持信息恢复剩余分量。
• 训练过程使用稀疏信号及其观测值的配对数据，以优化最小ℓ₀-范数解。

实验结果

研究问题

• RQ1 在传统算法因字典相干性高而失效的稀疏表示问题中，有学习能力的深度网络能否实现精确支持恢复？
• RQ2 与固定权重的迭代算法相比，端到端训练的具有可学习权重的深度网络是否能显著提高估计精度？
• RQ3 在受限等距常数较高的情况下，深度网络在多大程度上能恢复最大稀疏解（最小ℓ₀-范数）？
• RQ4 在涉及稀疏异常值的实际应用（如光度立体）中，该方法表现如何？

主要发现

• 所提出的深度网络在标准迭代方法因字典高相干性而失效的区域，仍能实现精确支持恢复和最小ℓ₀-范数解。
• 网络在有限次迭代后收敛至真实稀疏解，重建误差按指数规律衰减，形式为2⁻ᵗ。
• 理论分析表明，若已知部分支持，唯一恢复所需的受限等距常数显著降低，即使在高相干性条件下也能实现收敛。
• 光度立体的实证结果表明，该方法能有效去除稀疏异常值，并提升表面法向估计的精度。
• 该网络在准确性和鲁棒性方面均优于传统稀疏恢复算法，尤其当受限等距常数超过标准方法理论阈值时表现更优。