[论文解读] Computational Intractability of Dictionary Learning for Sparse Representation

Meisam Razaviyayn, Hung‐Wei Tseng+1 more|arXiv (Cornell University)|Nov 5, 2015

Sparse and Compressive Sensing Techniques参考文献 27被引用 8

一句话总结

本文通过从稠密割问题进行多项式时间归约，建立了稀疏表示字典学习的NP难性。提出了一种基于连续凸逼近（SCA）的算法，在较弱假设下收敛至驻点，提供了理论收敛保证——这与许多现有方法（如K-SVD）不同——同时在图像去噪应用中实现了相当的性能。

ABSTRACT

In this paper we consider the dictionary learning problem for sparse representation. We first show that this problem is NP-hard by polynomial time reduction of the densest cut problem. Then, using successive convex approximation strategies, we propose efficient dictionary learning schemes to solve several practical formulations of this problem to stationary points. Unlike many existing algorithms in the literature, such as K-SVD, our proposed dictionary learning scheme is theoretically guaranteed to converge to the set of stationary points under certain mild assumptions. For the image denoising application, the performance and the efficiency of the proposed dictionary learning scheme are comparable to that of K-SVD algorithm in simulation.

研究动机与目标

• 通过从稠密割问题归约，正式证明稀疏表示字典学习的计算不可解性。
• 开发高效且理论收敛的字典学习算法，避免在每次迭代中求解Lasso子问题或识别活动支持集。
• 提供一种在弱假设下收敛至驻点的方法，不同于许多现有算法缺乏此类保证。
• 在图像去噪等实际应用中，性能与K-SVD相当，同时确保收敛性和理论有效性。

提出的方法

• 使用从稠密割问题的多项式时间归约，证明稀疏字典学习问题的NP难性。
• 提出一种连续凸逼近（SCA）框架，通过迭代用凸上界逼近非凸目标函数来求解字典学习问题。
• 采用满足函数值一致性、梯度一致性和上界条件的近似函数，以确保收敛性。
• 将SCA算法应用于带稀疏性约束的Frobenius范数最小化问题，通过闭式近似更新字典和系数。
• 对系数向量的稀疏性施加约束（‖xi‖₀ ≤ s），并使用Slater型条件进行收敛性分析。
• 在Slater条件及对近似函数的假设下，证明了理论收敛性，表明极限点为KKT点。

实验结果

研究问题

• RQ1 稀疏表示的字典学习问题是否在计算上不可解，若是，能否通过形式化方法证明其NP难性？
• RQ2 能否设计一种字典学习算法，避免在每次迭代中求解Lasso子问题或识别活动支持集？
• RQ3 所提出的基于SCA的方法是否在弱假设下保证收敛至驻点？
• RQ4 在图像去噪等实际应用中，该方法的性能与K-SVD等现有算法相比如何？

主要发现

• 证明了即使在s=1和k=2的最小情况下，稀疏表示的字典学习问题也是NP难的。
• 所提出的基于SCA的算法在Slater条件及对近似函数的指定假设下，收敛至KKT点。
• 该算法在图像去噪任务中实现了与K-SVD相当的性能，证明了其实际有效性。
• 与K-SVD及其他现有方法不同，所提方法在理论上保证收敛至驻点。
• 该方法避免求解Lasso子问题，转而使用简单且非精确的闭式更新，提升了计算效率。
• 通过近似函数的梯度一致性和上界性质，建立了理论收敛性。