[论文解读] New Algorithms for Learning Incoherent and Overcomplete Dictionaries

Sanjeev Arora, Rong Ge+1 more|arXiv (Cornell University)|Aug 28, 2013

Sparse and Compressive Sensing Techniques参考文献 53被引用 77

一句话总结

该论文提出了首个在多项式时间内学习过完备、非相干字典且具有可证明保证的算法，通过组合聚类与连接图技术，在无需事先了解字典的情况下恢复稀疏表示。其在 $ k \leq c\min(\sqrt{n}/\mu\log n, m^{1/2-\eta}) $ 条件下实现了近乎最优的稀疏性恢复，样本复杂度与运行时间复杂度对精度 $ \epsilon $ 呈对数依赖关系，并能稳健处理非相干噪声。

ABSTRACT

In sparse recovery we are given a matrix $A$ (the dictionary) and a vector of the form $A X$ where $X$ is sparse, and the goal is to recover $X$. This is a central notion in signal processing, statistics and machine learning. But in applications such as sparse coding, edge detection, compression and super resolution, the dictionary $A$ is unknown and has to be learned from random examples of the form $Y = AX$ where $X$ is drawn from an appropriate distribution --- this is the dictionary learning problem. In most settings, $A$ is overcomplete: it has more columns than rows. This paper presents a polynomial-time algorithm for learning overcomplete dictionaries; the only previously known algorithm with provable guarantees is the recent work of Spielman, Wang and Wright who gave an algorithm for the full-rank case, which is rarely the case in applications. Our algorithm applies to incoherent dictionaries which have been a central object of study since they were introduced in seminal work of Donoho and Huo. In particular, a dictionary is $μ$-incoherent if each pair of columns has inner product at most $μ/ \sqrt{n}$. The algorithm makes natural stochastic assumptions about the unknown sparse vector $X$, which can contain $k \leq c \min(\sqrt{n}/μ\log n, m^{1/2 -η})$ non-zero entries (for any $η> 0$). This is close to the best $k$ allowable by the best sparse recovery algorithms even if one knows the dictionary $A$ exactly. Moreover, both the running time and sample complexity depend on $\log 1/ε$, where $ε$ is the target accuracy, and so our algorithms converge very quickly to the true dictionary. Our algorithm can also tolerate substantial amounts of noise provided it is incoherent with respect to the dictionary (e.g., Gaussian). In the noisy setting, our running time and sample complexity depend polynomially on $1/ε$, and this is necessary.

研究动机与目标

• 解决字典学习中的基础挑战，即字典 $ A $ 与稀疏向量 $ X $ 均未知，尤其在信号处理与机器学习中常见的过完备设置下。
• 通过开发一种在不知晓 $ A $ 的前提下恢复 $ X $ 支持的方法，克服稀疏编码中的鸡肋问题，利用组合与概率技术。
• 在过完备情形下提供字典学习的可证明保证，该问题此前在理论上尚未解决。
• 在 $ X $ 的自然随机假设下实现近乎最优的稀疏性恢复，接近即使在已知字典时理论上可能达到的极限。
• 将可证明字典学习的适用范围从稀少情形扩展至更现实的过完备情形，后者在实际应用中更为常见。

提出的方法

• 该算法构建一个连接图 $ G $，其中节点代表字典列，边连接那些对应信号具有高内积的列。
• 利用重叠聚类将共同出现在同一稀疏表示中的列分组，利用如下事实：与同一信号具有高内积的列极有可能属于同一支持集。
• 关键组件是使用 $ \ell $-元组信号检测共同支持，通过交集性质实现，借助一个概率引理来限制误报。
• 该方法依赖于对集合的 $ (k,Q) $-族的新型组合分析，以确保以高概率仅恢复出真实的重叠支持。
• 在如 $ e_i + e_j $ 的向量上应用截断幂法，以在实践中高效近似重叠聚类，从而支持更快的启发式方法。
• 该算法设计为可容忍非相干噪声（如高斯噪声），并在噪声环境下保持对 $ 1/\epsilon $ 的多项式依赖关系。

实验结果

研究问题

• RQ1 我们能否设计出一种在多项式时间内学习过完备、非相干字典且具有可证明保证的算法，尽管该领域此前在理论上尚无相关结果？
• RQ2 当字典未知且为过完备时，可实现的稀疏性水平 $ k $ 是多少？
• RQ3 如何在仅拥有随机样本 $ Y = AX $ 的前提下，无需知晓字典 $ A $，恢复稀疏向量 $ X $ 的支持？
• RQ4 能否利用组合与概率技术，从连接图中区分真实重叠支持与虚假正例？
• RQ5 实现准确字典恢复所需的最小样本复杂度与运行时间复杂度是多少？其如何随精度 $ \epsilon $ 变化？

主要发现

• 该算法在 $ k \leq c\min(\sqrt{n}/\mu\log n, m^{1/2-\eta}) $ 条件下实现可证明恢复，与已知字典时的最佳稀疏恢复界相比近乎最优。
• 运行时间与样本复杂度为 $ \widetilde{O}(k^{\ell-2}mp + p^2n) $，对 $ \log 1/\epsilon $ 有依赖关系，从而实现高精度下的快速收敛。
• 当 $ k \leq cm^{(\ell-1)/(2\ell-1)} $ 时，该算法能以高概率成功识别连接图中的重叠聚类，即使在过完备情形下亦然。
• 该方法可容忍非相干噪声（如高斯噪声），且样本与运行时间复杂度在 $ 1/\epsilon $ 上为多项式，这是必要且最优的。
• 实验结果支持了随机假设，如 $ \mathbb{E}[X_i \mid X_i \neq 0] = 0 $，并表明结合现有方法（如 KSVD）时，使用幂法的启发式变体可显著加速收敛。
• 该算法为稀疏编码算法提供了新的初始化框架，可在实践中实现更快、更可靠的收敛。