[论文解读] Convolutional Neural Networks Analyzed via Convolutional Sparse Coding

Vardan Papyan, Yaniv Romano+1 more|arXiv (Cornell University)|Jul 27, 2016

Sparse and Compressive Sensing Techniques参考文献 67被引用 36

一句话总结

本文提出了一种多层卷积稀疏编码（ML-CSC）模型，为卷积神经网络（CNNs）提供了理论基础，表明CNN前向传播等价于ML-CSC中的阈值追踪算法。主要贡献在于在局部稀疏性条件下，建立了表示学习的唯一性和稳定性理论保证，并提出了一种与反卷积网络和残差网络相关的替代前向传播方法，从而提升了稳定性。

ABSTRACT

Convolutional neural networks (CNN) have led to many state-of-the-art results spanning through various fields. However, a clear and profound theoretical understanding of the forward pass, the core algorithm of CNN, is still lacking. In parallel, within the wide field of sparse approximation, Convolutional Sparse Coding (CSC) has gained increasing attention in recent years. A theoretical study of this model was recently conducted, establishing it as a reliable and stable alternative to the commonly practiced patch-based processing. Herein, we propose a novel multi-layer model, ML-CSC, in which signals are assumed to emerge from a cascade of CSC layers. This is shown to be tightly connected to CNN, so much so that the forward pass of the CNN is in fact the thresholding pursuit serving the ML-CSC model. This connection brings a fresh view to CNN, as we are able to attribute to this architecture theoretical claims such as uniqueness of the representations throughout the network, and their stable estimation, all guaranteed under simple local sparsity conditions. Lastly, identifying the weaknesses in the above pursuit scheme, we propose an alternative to the forward pass, which is connected to deconvolutional, recurrent and residual networks, and has better theoretical guarantees.

研究动机与目标

• 为CNN前向传播提供理论理解，尽管其在实践中表现优异，但目前缺乏清晰的理论基础。
• 利用多层卷积稀疏编码（ML-CSC）框架对深层表征进行建模，受近期单层CSC研究进展的启发。
• 在简单局部稀疏性条件下，建立CNN表示的理论保证，如唯一性和稳定性。
• 识别标准阈值追踪在CNN中应用的局限性，并提出一种与反卷积网络和残差网络相关的更稳定替代方法。

提出的方法

• 提出一种多层卷积稀疏编码（ML-CSC）模型，其中每一层的表征通过卷积字典稀疏表示，形成一系列稀疏编码问题的级联。
• 表明标准CNN前向传播恰好对应于求解ML-CSC问题的阈值追踪算法。
• 采用拉格朗日基追踪公式，参数设置为β₁ = 4ε₀和β₂ = 4ε₁，以确保稀疏表征的稳定恢复。
• 将先前CSC研究（Papyan et al., 2016b）中的稳定性定理递归应用于各层，通过ℓ₂,∞和ℓ∞范数界定向表示误差。
• 推导误差界：‖Δ₁‖₂,∞ᴾ ≤ √‖Γ₁‖₀,∞ᴾ × 7.5ε₀ = ε₁，且对更深的层同样成立，确保逐步稳定性。
• 提出一种基于反卷积网络和残差网络结构的替代前向传播方法，其理论稳定性优于标准阈值追踪方法。

实验结果

研究问题

• RQ1 CNN前向传播如何通过稀疏编码框架进行理论解释？
• RQ2 在最小假设条件下，CNN表征可获得哪些理论保证（如唯一性和稳定性）？
• RQ3 能否通过与已知深度学习架构相关的更稳定替代方法，改进CNN中标准阈值追踪？
• RQ4 各层中的局部稀疏性条件如何影响深层网络中表征恢复的稳定性和准确性？

主要发现

• CNN前向传播在数学上等价于求解ML-CSC模型的阈值追踪算法，为CNN提供了新的理论解释。
• 在局部稀疏性条件下，每一层的表征均可唯一恢复，且解的支撑集包含于真实支撑集中。
• 表征恢复的ℓ∞误差被限制在7.5ε₀以内，确保超过该阈值的条目可被保证恢复。
• ℓ₂,∞误差被限制在ε₁ = √‖Γ₁‖₀,∞ᴾ × 7.5ε₀以内，确保显著系数的稳定恢复。
• 相同的稳定性保证可沿深层递推传播，其中ε₂ = √‖Γ₂‖₀,∞ᴾ × 7.5ε₁，表明具有递归稳定性。
• 提出一种基于反卷积网络和残差网络的替代前向传播方法，其理论稳定性强于标准阈值追踪方法。