[论文解读] More Algorithms for Provable Dictionary Learning

Sanjeev Arora, Aditya Bhaskara+2 more|arXiv (Cornell University)|Jan 3, 2014

Algorithms and Data Compression参考文献 23被引用 38

一句话总结

本文提出了在过完备且稍为稀疏的设定下（稀疏度最高达 $n/\text{poly}(\log n)$）的可证明字典学习的准多项式时间算法，借助一种新的‘可单独恢复特征’概念与有限枚举。该工作扩展了先前研究，处理了超过 $\sqrt{n}$ 稀疏度的情形，在字典相干性与特征可恢复性假设下，以高概率实现对真实字典的恢复。

ABSTRACT

In dictionary learning, also known as sparse coding, the algorithm is given samples of the form $y = Ax$ where $x\in \mathbb{R}^m$ is an unknown random sparse vector and $A$ is an unknown dictionary matrix in $\mathbb{R}^{n imes m}$ (usually $m > n$, which is the overcomplete case). The goal is to learn $A$ and $x$. This problem has been studied in neuroscience, machine learning, visions, and image processing. In practice it is solved by heuristic algorithms and provable algorithms seemed hard to find. Recently, provable algorithms were found that work if the unknown feature vector $x$ is $\sqrt{n}$-sparse or even sparser. Spielman et al. \cite{DBLP:journals/jmlr/SpielmanWW12} did this for dictionaries where $m=n$; Arora et al. \cite{AGM} gave an algorithm for overcomplete ($m >n$) and incoherent matrices $A$; and Agarwal et al. \cite{DBLP:journals/corr/AgarwalAN13} handled a similar case but with weaker guarantees. This raised the problem of designing provable algorithms that allow sparsity $\gg \sqrt{n}$ in the hidden vector $x$. The current paper designs algorithms that allow sparsity up to $n/poly(\log n)$. It works for a class of matrices where features are individually recoverable, a new notion identified in this paper that may motivate further work. The algorithm runs in quasipolynomial time because they use limited enumeration.

研究动机与目标

• 设计在隐藏特征向量为稍为稀疏（即稀疏度 $\gg \sqrt{n}$）时的可证明算法，突破先前工作的根本障碍。
• 引入并形式化‘可单独恢复’特征的概念，使即使在过完备情况下也能恢复字典元素。
• 通过有限枚举与鲁棒的特征偏置统计估计，将可证明恢复保证扩展至超过 $\sqrt{n}$ 稀疏度的情形。
• 证明在字典矩阵的温和结构假设下，准多项式时间算法可高概率恢复真实字典。

提出的方法

• 引入‘相关集合’与‘扩展签名集合’的概念，以在样本间识别出在统计上可区分的特征。
• 利用经验偏置估计检测并分离出对信号有显著且一致贡献的特征，即使其符号在不同样本中变化。
• 对小特征集合进行有限枚举，以搜索表现出强统计偏置的候选签名集合。
• 利用集中不等式与反集中性质，确保仅真实特征主导偏置估计。
• 基于逐元素误差界实施精炼步骤，以提高恢复字典列的准确性。
• 在样本复杂度 $n^{4C+3}m$ 下，利用伯恩斯坦型集中不等式建立真实字典与恢复字典之间的等价性。

实验结果

研究问题

• RQ1 当隐藏特征向量的稀疏度超过 $\sqrt{n}$ 时，是否仍可实现可证明的字典学习？这正是先前算法的极限。
• RQ2 字典矩阵的何种结构假设可实现过完备、高稀疏度情形下对单个特征的恢复？
• RQ3 是否可能设计出时间复杂度为准多项式且仍能实现高概率恢复的可证明字典学习算法？
• RQ4 当特征符号在不同样本中可能变化时，如何利用统计偏置估计来隔离单个特征？

主要发现

• 当隐藏特征向量为 $n/\text{poly}(\log n)$-稀疏时，该算法以高概率实现对真实字典的恢复，突破了先前工作对 $\sqrt{n}$ 稀疏度的限制。
• 该方法引入并利用了‘可单独恢复特征’的概念，使得即使在符号变化的情况下，也能稳健识别字典列。
• 在 $n^{4C+3}m$ 个样本下，真实字典 $A$ 与恢复字典 $\hat{A}$ 之间的逐元素误差以高概率被限制在 $n^{-2C}m^{-1/2}$ 以内。
• 证明了字典 $A$ 与 $\hat{A}$ 是 $n^{-C}$-等价的，即它们能产生几乎相同的稀疏表示。
• 由于对小特征集合进行了有限枚举，该算法运行在准多项式时间内，是首个在该设定下具备可证明性的方法。
• 理论保证在特征重叠图具有足够扩展性的假设下成立，确保仅真实特征主导偏置估计。