[论文解读] Learning efficient sparse and low rank models

Pablo Sprechmann, Alex Bronstein+1 more|arXiv (Cornell University)|Dec 14, 2012

Sparse and Compressive Sensing Techniques参考文献 53被引用 15

一句话总结

本文提出一种以流程为中心的简约建模方法，通过学习固定复杂度、确定性的追逐网络，近似迭代优化以实现稀疏和低秩表示。以邻近下降迭代为蓝图，该方法在图像和音频任务中实现了最先进性能，相比精确求解器实现了数量级的加速，同时支持分类和分离任务的端到端判别式训练。

ABSTRACT

Parsimony, including sparsity and low rank, has been shown to successfully model data in numerous machine learning and signal processing tasks. Traditionally, such modeling approaches rely on an iterative algorithm that minimizes an objective function with parsimony-promoting terms. The inherently sequential structure and data-dependent complexity and latency of iterative optimization constitute a major limitation in many applications requiring real-time performance or involving large-scale data. Another limitation encountered by these modeling techniques is the difficulty of their inclusion in discriminative learning scenarios. In this work, we propose to move the emphasis from the model to the pursuit algorithm, and develop a process-centric view of parsimonious modeling, in which a learned deterministic fixed-complexity pursuit process is used in lieu of iterative optimization. We show a principled way to construct learnable pursuit process architectures for structured sparse and robust low rank models, derived from the iteration of proximal descent algorithms. These architectures learn to approximate the exact parsimonious representation at a fraction of the complexity of the standard optimization methods. We also show that appropriate training regimes allow to naturally extend parsimonious models to discriminative settings. State-of-the-art results are demonstrated on several challenging problems in image and audio processing with several orders of magnitude speedup compared to the exact optimization algorithms.

研究动机与目标

• 为克服稀疏和低秩建模中迭代优化带来的计算瓶颈，尤其是在实时和大规模应用中。
• 通过使追逐过程可微分和可训练，实现使用简约模型的判别式学习。
• 用学习得到的、固定架构的网络替代迭代求解器，以最小延迟和复杂度近似精确优化。
• 证明学习得到的追逐过程在重建质量和下游分类任务中可超越精确求解器。

提出的方法

• 该方法通过展开用于稀疏和低秩问题的凸优化中的邻近下降算法，构建可学习的追逐网络架构。
• 网络的每一层实现来自优化子问题的邻近算子，形成用于表示追逐的确定性、固定深度函数。
• 通过监督或自监督范式端到端训练网络，以最小化重建误差或特定任务目标。
• 该框架支持合成与分析模型，扩展至共稀疏和鲁棒低秩公式。
• 架构设计具有可解释性和可扩展性，参数由标准优化方法初始化。
• 该方法通过反向传播穿过学习得到的追逐过程，实现判别式模型的训练，解决了传统求解器不可微的关键问题。

实验结果

研究问题

• RQ1 可学习的、固定复杂度的追逐过程能否以显著降低的计算成本，近似迭代稀疏和低秩优化的解？
• RQ2 此类可学习的追逐网络能否在判别式设置中有效训练，以提升分类和源分离等下游任务的性能？
• RQ3 以流程为中心的框架是否能在保持或提升重建精度的同时，实现比精确求解器更快的推理速度？
• RQ4 不同训练范式——无监督、监督和判别式——如何影响音频和图像任务中学习编码器的性能？

主要发现

• 所提出的追逐网络在图像和音频任务中，相比精确优化算法实现了高达1000倍的速度提升，同时保持或改善了重建质量。
• 在语音源分离任务中，监督训练范式将语音的SDR从5.00 dB提升至6.36 dB，音乐的SDR从4.01 dB提升至4.32 dB，优于精确的RNMF求解器。
• 在噪声环境下进行说话人识别时，判别式训练范式平均成功率达到94%，优于精确求解器和监督基线。
• 该框架通过使追逐过程可微分，实现了判别式模型的端到端训练，解决了传统以模型为中心方法的关键局限。
• 该方法可推广至合成与分析模型，包括鲁棒低秩和共稀疏公式，且性能提升一致。