[论文解读] Fast spectral algorithms from sum-of-squares proofs: tensor decomposition and planted sparse vectors

Samuel B. Hopkins, Tselil Schramm+2 more|arXiv (Cornell University)|Dec 8, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用 6

一句话总结

本文提出了一类受求和平方（SoS）证明启发的快速谱算法，用于解决两个机器学习问题：在随机子空间中恢复一个植入的稀疏向量，以及分解过完备的3阶张量。通过利用部分迹运算和谱方法，这些算法在近乎线性时间内实现了SoS级别的保证，显著优于传统SoS方法在度数$d$下$ n^{O(d)} $的复杂度。关键贡献在于提供了一种实用且可扩展的高阶SoS松弛替代方案，在统计性能上与之相当或更优。

ABSTRACT

We consider two problems that arise in machine learning applications: the problem of recovering a planted sparse vector in a random linear subspace and the problem of decomposing a random low-rank overcomplete 3-tensor. For both problems, the best known guarantees are based on the sum-of-squares method. We develop new algorithms inspired by analyses of the sum-of-squares method. Our algorithms achieve the same or similar guarantees as sum-of-squares for these problems but the running time is significantly faster. For the planted sparse vector problem, we give an algorithm with running time nearly linear in the input size that approximately recovers a planted sparse vector with up to constant relative sparsity in a random subspace of $\mathbb R^n$ of dimension up to $ ilde Ω(\sqrt n)$. These recovery guarantees match the best known ones of Barak, Kelner, and Steurer (STOC 2014) up to logarithmic factors. For tensor decomposition, we give an algorithm with running time close to linear in the input size (with exponent $\approx 1.086$) that approximately recovers a component of a random 3-tensor over $\mathbb R^n$ of rank up to $ ilde Ω(n^{4/3})$. The best previous algorithm for this problem due to Ge and Ma (RANDOM 2015) works up to rank $ ilde Ω(n^{3/2})$ but requires quasipolynomial time.

研究动机与目标

• 开发用于在随机线性子空间中恢复植入稀疏向量的更快算法，实现或超越现有求和平方（SoS）方法的最佳已知保证。
• 设计高效的谱算法用于过完备3阶张量分解，其性能与SoS方法相当，但运行时间接近线性。
• 证明谱方法可在不求解代价高昂的半定规划的情况下，有效利用高阶SoS信息。
• 为大规模机器学习问题提供一种实用且可扩展的SoS基算法替代方案。

提出的方法

• 针对植入稀疏向量问题的算法在由输入子空间导出的变换基上使用谱方法，借助测度集中性确保恢复成功。
• 对于张量分解，该方法计算张量第一模式切片的局部迹，形成一个矩阵，其最大特征向量可近似真实成分。
• 核心技术在于利用矩阵集中不等式分析噪声项的谱范数，确保在低秩假设下信号占主导地位。
• 张量PCA的算法在局部迹矩阵上使用线性时间的矩阵幂方法，该矩阵通过求和带迹权重的张量切片构造而成。
• 一个关键创新是使用局部迹运算高效提取信号信息，避免了对完整张量的处理。
• 通过流式处理张量条目实现运行时优化，同时仅存储$ O(n^2) $个中间值。

实验结果

研究问题

• RQ1 谱算法能否在近乎线性时间内实现与求和平方方法相同的统计保证，用于植入稀疏向量恢复？
• RQ2 能否为过完备3阶张量分解设计快速谱算法，使其性能与或超越基于SoS的方法，包括在秩和信噪比阈值方面？
• RQ3 是否可能通过谱方法提取高阶SoS信息，而无需求解昂贵的半定规划问题？
• RQ4 在尖刺张量PCA模型中，恢复所需的最小信号强度是多少？能否通过亚二次或线性时间算法实现？

主要发现

• 植入稀疏向量算法可在近乎线性时间内恢复相对稀疏度为常数的向量，且子空间维度高达$ \tilde{\Omega}(\sqrt{n}) $。
• 张量分解算法可在接近线性时间内恢复秩高达$ \tilde{\Omega}(n^{4/3}) $的3阶张量成分，时间复杂度指数约为1.086。
• 对于张量PCA，当$ \tau = \Omega(n^{3/4} \sqrt{\log n / \varepsilon}) $时，算法实现$ \langle v, v' \rangle \geq 1 - O(\varepsilon) $的恢复，与SoS保证一致。
• 局部迹矩阵具有$ \Omega(1/\varepsilon) $的谱间隙比，使得矩阵幂方法在$ O(\log(n/\varepsilon)) $轮迭代内收敛。
• 该算法运行时间为线性时间，空间复杂度为亚线性，仅需单次遍历张量，且仅需$ O(n^2) $内存。
• 该方法通过采用局部迹方法，在将运行时间减少$ \log n $因子的同时，简化了分析，优于先前工作。