[论文解读] Alternating minimization for dictionary learning: Local Convergence Guarantees

Niladri S. Chatterji, Peter L. Bartlett|arXiv (Cornell University)|Nov 9, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用 4

一句话总结

本文为字典学习中的交替最小化算法提供了局部收敛性保证，将原本依赖于算子范数的约束替换为对真实字典的矩阵无穷范数条件。该方法在稀疏编码的ℓ₁-最小化与字典更新的梯度下降之间交替进行，即使在过完备和高范数字典的情况下，也能在最优稀疏度水平（高达O(√d)）和样本复杂度界下实现线性收敛。

ABSTRACT

We present theoretical guarantees for an alternating minimization algorithm for the dictionary learning/sparse coding problem. The dictionary learning problem is to factorize vector samples $y^{1},y^{2},\ldots, y^{n}$ into an appropriate basis (dictionary) $A^*$ and sparse vectors $x^{1*},\ldots,x^{n*}$. Our algorithm is a simple alternating minimization procedure that switches between $\ell_1$ minimization and gradient descent in alternate steps. Dictionary learning and specifically alternating minimization algorithms for dictionary learning are well studied both theoretically and empirically. However, in contrast to previous theoretical analyses for this problem, we replace a condition on the operator norm (that is, the largest magnitude singular value) of the true underlying dictionary $A^*$ with a condition on the matrix infinity norm (that is, the largest magnitude term). Our guarantees are under a reasonable generative model that allows for dictionaries with growing operator norms, and can handle an arbitrary level of overcompleteness, while having sparsity that is information theoretically optimal. We also establish upper bounds on the sample complexity of our algorithm.

研究动机与目标

• 解决在现实假设下，交替最小化在字典学习中缺乏理论收敛保证的问题。
• 克服先前研究中依赖于真实字典算子范数约束的局限性。
• 使对具有增长算子范数和任意过完备性（r = O(poly(d))）的字典的分析成为可能。
• 在相干字典中实现信息论最优的稀疏度水平O(√d)。
• 在字典中存在固定噪声的生成模型下，为所提算法建立样本复杂度界。

提出的方法

• 提出一种交替最小化算法，交替执行ℓ₁-最小化以估计稀疏系数，以及梯度下降以更新字典。
• 引入一种鲁棒稀疏估计器——{ℓ₁, ℓ₂, ℓ∞}-MU选择器，可处理字典中的最坏情况噪声。
• 使用矩阵无穷范数（最大绝对值元素）作为关键条件，替代算子范数（最大奇异值），从而提升适用范围。
• 利用Kullback-Leibler散度和信息论工具（包括Tsybakov关于检验复杂度的定理）进行收敛性分析。
• 建立在矩阵无穷范数下的误差界，其精度优于以往基于最大列向量误差的度量。
• 证明在固定噪声下，该鲁棒稀疏估计器具有极小极大最优性，该结果具有独立的理论价值。

实验结果

研究问题

• RQ1 在弱于算子范数约束的假设下，字典学习的交替最小化能否实现局部线性收敛？
• RQ2 将算子范数条件替换为矩阵无穷范数条件，是否能在过完备和高范数字典设置下实现收敛性保证？
• RQ3 该算法能否在过完备情形下实现信息论最优的稀疏度水平O(√d)？
• RQ4 在新条件下，所提交替最小化算法的样本复杂度是多少？
• RQ5 在字典中存在固定噪声的情况下，所提鲁棒稀疏估计器是否具有极小极大最优性？

主要发现

• 在矩阵无穷范数条件下，该算法实现了对真实字典的局部线性收敛，该条件允许字典的算子范数随维度增长。
• 该方法在稀疏度水平高达O(√d)时提供收敛保证，这对相干字典而言是信息论最优的。
• 该算法的样本复杂度有界，且在维度上呈有利的缩放关系，即使在过完备情形（r = O(poly(d))）下亦然。
• {ℓ₁, ℓ₂, ℓ∞}-MU选择器在固定噪声下被证明具有极小极大最优性，该结果具有独立的理论价值。
• 分析中采用的矩阵无穷范数误差度量优于以往基于最大列向量误差的度量。
• 主要结果（定理3）已修正，增加了初始化假设（假设B1），确保在现实随机初始化下仍成立。