[论文解读] Dictionary Learning and Tensor Decomposition via the Sum-of-Squares Method

Boaz Barak, Jonathan A. Kelner+1 more|arXiv (Cornell University)|Jul 6, 2014

Sparse and Compressive Sensing Techniques参考文献 2被引用 5

一句话总结

本文提出了一种新颖的平方和（SOS）方法用于字典学习与张量分解，即使在系数向量为密集（最多常数级稀疏性）的情况下，也能实现对过完备字典的近似恢复，从而克服了先前算法的障碍。该方法利用基于SOS的多项式优化，在谱范数噪声下实现噪声张量分解，当稀疏性为次多项式时可实现多项式时间恢复，常数稀疏性下为 $ m^{O(\log m)} $ 时间。

ABSTRACT

We give a new approach to the dictionary learning (also known as "sparse coding") problem of recovering an unknown $n imes m$ matrix $A$ (for $m \geq n$) from examples of the form \[ y = Ax + e, \] where $x$ is a random vector in $\mathbb R^m$ with at most $τm$ nonzero coordinates, and $e$ is a random noise vector in $\mathbb R^n$ with bounded magnitude. For the case $m=O(n)$, our algorithm recovers every column of $A$ within arbitrarily good constant accuracy in time $m^{O(\log m/\log(τ^{-1}))}$, in particular achieving polynomial time if $τ= m^{-δ}$ for any $δ>0$, and time $m^{O(\log m)}$ if $τ$ is (a sufficiently small) constant. Prior algorithms with comparable assumptions on the distribution required the vector $x$ to be much sparser---at most $\sqrt{n}$ nonzero coordinates---and there were intrinsic barriers preventing these algorithms from applying for denser $x$. We achieve this by designing an algorithm for noisy tensor decomposition that can recover, under quite general conditions, an approximate rank-one decomposition of a tensor $T$, given access to a tensor $T'$ that is $τ$-close to $T$ in the spectral norm (when considered as a matrix). To our knowledge, this is the first algorithm for tensor decomposition that works in the constant spectral-norm noise regime, where there is no guarantee that the local optima of $T$ and $T'$ have similar structures. Our algorithm is based on a novel approach to using and analyzing the Sum of Squares semidefinite programming hierarchy (Parrilo 2000, Lasserre 2001), and it can be viewed as an indication of the utility of this very general and powerful tool for unsupervised learning problems.

研究动机与目标

• 为解决在过完备字典学习中系数向量密集时的挑战，此前的算法要求向量极度稀疏（例如 $ O(\sqrt{n}) $ 个非零元素）。
• 开发一种在常数谱范数噪声下仍能有效运行的鲁棒张量分解算法，其中原始张量与扰动张量的局部最优解可能显著不同。
• 展示平方和（SOS）层级在无监督学习问题中的实用性，首次为此类问题提供SOS的严格运行时间边界。
• 实现在无需字典矩阵非相干性假设的前提下，以高精度近似恢复字典列。

提出的方法

• 该方法采用平方和（SOS）半定规划层级，求解字典学习与张量分解中出现的非凸多项式优化问题。
• 将字典学习问题表述为一个噪声张量分解任务，目标是从与原始张量谱范数相差 $ \tau $ 的扰动版本中恢复低秩张量结构。
• 关键组成部分是使用多项式上的伪分布来表示和推理解空间，使算法能够处理噪声和密集输入。
• 算法使用一个度数为 $ k $ 的伪分布，满足诸如 $ \|u\|_2^2 = 1 $ 和 $ P(u) \geq 1 - \varepsilon $ 的约束，其中 $ P $ 近似于 $ \|A^T u\|_d^d $。
• 采用重加权技术，确保在真实分布下SOS算法的成功概率保持较高，利用了系数分布的良好性质。
• 该方法结合谱范数界与集中不等式，确保伪分布能捕捉字典的真实潜在结构，即使在噪声存在的情况下。

实验结果

研究问题

• RQ1 SOS方法能否用于求解具有密集系数向量的字典学习问题，突破先前算法对 $ O(\sqrt{n}) $ 稀疏性的限制？
• RQ2 当输入张量因谱范数噪声而被破坏时，是否仍能实现鲁棒张量分解，即使原始张量与扰动张量的局部最优解显著不同？
• RQ3 SOS层级能否在无监督学习问题中得到严格分析，同时提供正确性与运行时间保证？
• RQ4 SOS方法是否能在不假设字典矩阵非相干性的前提下，实现字典列的恢复？

主要发现

• 该算法在时间 $ m^{O(\log m / \log(\tau^{-1}))} $ 内以任意良好的常数精度恢复字典 $ A $ 的每一列，当 $ \tau = m^{-\delta} $（任意 $ \delta > 0 $）时，该时间变为多项式时间。
• 对于常数 $ \tau $，运行时间为 $ m^{O(\log m)} $，为次指数时间，远快于先前针对密集向量的方法。
• 当系数向量具有 $ \tau m $ 的稀疏性且 $ \tau = m^{-\delta} $ 时，该方法实现了多项式时间恢复，将适用范围扩展至超越先前 $ O(\sqrt{n}) $ 稀疏性限制的区域。
• 该算法首次提供了在谱范数噪声下噪声张量分解的已知保证，且不假设原始张量与扰动张量之间存在结构相似性。
• 基于SOS的方法成功处理了无需字典矩阵非相干性假设的过完备字典学习问题。
• 该框架可在高概率下实现对称化豪斯多夫距离中的近似恢复，仅需 $ n^{O(d)} / \text{poly}(\tau) $ 个样本即可达到期望精度 $ \varepsilon $。