[论文解读] Alternating minimization for dictionary learning with random initialization

Niladri S. Chatterji, Peter L. Bartlett|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用 10

一句话总结

本文为字典学习中一种使用随机初始化并以矩阵无穷范数条件替代算子范数约束的交替最小化算法提供了理论保证。该方法在合理的生成模型下可证明收敛至全局最优解，实现任意过完备性与信息论最优稀疏性，同时提供样本复杂度边界。

ABSTRACT

We present theoretical guarantees for an alternating minimization algorithm for the dictionary learning/sparse coding problem. The dictionary learning problem is to factorize vector samples $y^{1},y^{2},\ldots, y^{n}$ into an appropriate basis (dictionary) $A^*$ and sparse vectors $x^{1*},\ldots,x^{n*}$. Our algorithm is a simple alternating minimization procedure that switches between $\ell_1$ minimization and gradient descent in alternate steps. Dictionary learning and specifically alternating minimization algorithms for dictionary learning are well studied both theoretically and empirically. However, in contrast to previous theoretical analyses for this problem, we replace the condition on the operator norm (that is, the largest magnitude singular value) of the true underlying dictionary $A^*$ with a condition on the matrix infinity norm (that is, the largest magnitude term). This not only allows us to get convergence rates for the error of the estimated dictionary measured in the matrix infinity norm, but also ensures that a random initialization will provably converge to the global optimum. Our guarantees are under a reasonable generative model that allows for dictionaries with growing operator norms, and can handle an arbitrary level of overcompleteness, while having sparsity that is information theoretically optimal. We also establish upper bounds on the sample complexity of our algorithm.

研究动机与目标

• 为字典学习中使用随机初始化的交替最小化提供理论收敛保证。
• 以矩阵无穷范数条件替代对真实字典算子范数的依赖，从而提升方法的适用范围。
• 即使在任意过完备性与信息论最优稀疏性下，也确保收敛至全局最优解。
• 在合理生成模型下，建立所提算法的样本复杂度边界。

提出的方法

• 该算法在ℓ₁最小化以估计稀疏编码与梯度下降以更新字典之间交替进行。
• 使用真实字典的矩阵无穷范数条件，而非算子范数，该条件更具包容性，可实现从随机初始化的收敛。
• 该方法在允许算子范数增长和任意过完备性的生成模型下运行。
• 收敛性通过矩阵无穷范数中的误差进行分析，提供强有力的理论保证。
• 理论分析包含样本复杂度边界，表明可靠恢复所需的样本数量。
• 该方法确保随机初始化可导致全局收敛，而无需像先前方法那样依赖精心设计的初始化。

实验结果

研究问题

• RQ1 在弱于算子范数约束的假设下，使用随机初始化的交替最小化能否在字典学习中收敛至全局最优？
• RQ2 将算子范数条件替换为矩阵无穷范数条件，是否能为任意过完备性提供收敛保证？
• RQ3 所提算法实现准确字典恢复所需的样本复杂度是多少？
• RQ4 该方法能否在保持可证明收敛性的同时实现信息论最优稀疏性？
• RQ5 矩阵无穷范数条件如何影响算法的鲁棒性与可扩展性？

主要发现

• 在真实字典满足矩阵无穷范数条件的前提下，该算法可从随机初始化出发，严格收敛至全局最优解。
• 该方法允许字典具有任意过完备性，使其适用于更广泛的现实世界问题。
• 该算法的样本复杂度有界，且随问题的稀疏性与维度呈高效缩放。
• 估计字典中的误差在矩阵无穷范数下有界，提供了恢复精度的强指标。
• 该方法实现了信息论最优稀疏性水平，意味着任何其他算法都无法以更少的非零条目恢复字典。
• 理论框架支持算子范数增长的字典，相较于先前工作实现了显著的松弛。