[论文解读] Learning Deep ℓ 0 Encoders

Zhangyang Wang, Qing Ling+1 more|arXiv (Cornell University)|Feb 12, 2016

Sparse and Compressive Sensing Techniques参考文献 30被引用 2

一句话总结

本文提出 Deep ℓ₀ 编码器，一种深度学习框架，通过新颖的神经元和池化函数，将 ℓ₀ 稀疏逼近建模为前馈神经网络。通过施加结构先验，该方法在推理速度、学习容量和可扩展性方面优于传统稀疏编码，且在任务驱动损失下实现端到端优化，取得当前最优性能。

ABSTRACT

Despite its nonconvex nature, l0 sparse approximation is desirable in many theoretical and application cases. We study the l0 sparse approximation problem with the tool of deep learning, by proposing Deep l0 Encoders. Two typical forms, the l0 regularized problem and the M-sparse problem, are investigated. Based on solid iterative algorithms, we model them as feed-forward neural networks, through introducing novel neurons and pooling functions. Enforcing such structural priors acts as an effective network regularization. The deep encoders also enjoy faster inference, larger learning capacity, and better scalability compared to conventional sparse coding solutions. Furthermore, under task-driven losses, the models can be conveniently optimized from end to end. Numerical results demonstrate the impressive performances of the proposed encoders.

研究动机与目标

• 为在深度学习框架中解决非凸 ℓ₀ 稀疏逼近的挑战。
• 在传统稀疏编码方法的基础上，提升推理速度、学习容量和可扩展性。
• 通过任务驱动损失实现基于 ℓ₀ 的模型端到端优化。
• 通过新颖的架构组件，将 ℓ₀ 正则化和 M-稀疏问题建模为可微分的神经网络。

提出的方法

• 提出一种新型神经网络架构，通过专用神经元和池化函数，将 ℓ₀ 稀疏逼近建模为前馈网络。
• 引入新型神经元单元，通过迭代优化原理逼近不可微的 ℓ₀ 范数。
• 采用池化机制，通过选择前 M 个激活值来强制实现稀疏性，从而建模 M-稀疏约束。
• 将迭代算法中的结构先验嵌入网络架构中，起到有效正则化作用。
• 通过可微分组件实现端到端训练，支持在特定任务损失下的优化。
• 以稳健的迭代算法为基础，设计可训练且结构化的深度网络。

实验结果

研究问题

• RQ1 是否能通过可微分组件在深度学习框架中有效建模 ℓ₀ 稀疏逼近？
• RQ2 所提出的架构在推理速度和可扩展性方面与传统稀疏编码相比如何？
• RQ3 来自迭代算法的结构先验在多大程度上能提升深度 ℓ₀ 学习中的泛化能力和性能？
• RQ4 能否通过任务驱动损失实现基于 ℓ₀ 的模型端到端训练？

主要发现

• 所提出的 Deep ℓ₀ 编码器在推理速度方面优于传统稀疏编码解决方案。
• 由于深层架构和结构先验，模型展现出更大的学习容量和更好的可扩展性。
• 将迭代算法原理整合到网络设计中，提供了有效的正则化。
• 在任务驱动损失下的端到端优化带来了显著的性能提升。
• 数值结果证实了该方法在 ℓ₀ 稀疏逼近任务中的有效性和优越性。