[论文解读] Decomposing Overcomplete 3rd Order Tensors using Sum-of-Squares Algorithms

Rong Ge, Tengyu Ma|arXiv (Cornell University)|Apr 21, 2015

Tensor decomposition and applications参考文献 25被引用 33

一句话总结

本文提出了首个针对过完备三阶张量分解的准多项式时间算法，当张量的秩达到 $ n^{3/2}/\operatorname{poly}\log n $ 时仍有效，利用平方和（SoS）半定规划来认证注入范数，并通过伪期望恢复张量分量。该方法借助解耦技术与矩阵集中不等式，处理了超线性秩的过完备情形，而传统基于展开的方法在此情形下失效。

ABSTRACT

Tensor rank and low-rank tensor decompositions have many applications in learning and complexity theory. Most known algorithms use unfoldings of tensors and can only handle rank up to $n^{\lfloor p/2 floor}$ for a $p$-th order tensor in $\mathbb{R}^{n^p}$. Previously no efficient algorithm can decompose 3rd order tensors when the rank is super-linear in the dimension. Using ideas from sum-of-squares hierarchy, we give the first quasi-polynomial time algorithm that can decompose a random 3rd order tensor decomposition when the rank is as large as $n^{3/2}/ extrm{polylog} n$. We also give a polynomial time algorithm for certifying the injective norm of random low rank tensors. Our tensor decomposition algorithm exploits the relationship between injective norm and the tensor components. The proof relies on interesting tools for decoupling random variables to prove better matrix concentration bounds, which can be useful in other settings.

研究动机与目标

• 开发一种高效算法，用于在秩超过维度（过完备情形）时分解三阶张量，此情形下先前方法均失效。
• 将平方和（SoS）层级的适用范围扩展至过完备三阶张量分解，克服基于矩阵展开技术的局限性。
• 在多项式时间内认证随机低秩张量的注入范数，从而实现鲁棒的分量恢复。
• 为在学习潜变量模型中使用 SoS 作为初始化工具提供理论基础。

提出的方法

• 使用平方和（SoS）半定规划构建度数为 $ k $ 的伪期望，以捕捉张量的高阶矩。
• 采用解耦论证推导出改进的矩阵集中不等式，这对分析随机张量分量至关重要。
• 应用柯西-施瓦茨不等式与霍尔德不等式，将内积 $ \langle a_i, x\rangle^d $ 的幂次从 $ d=3 $ 提升至 $ d=k=O(\log n) $，从而支持平均化论证。
• 实施贪心恢复循环：通过 SoS 认证的伪期望，迭代寻找使 $ T(c,c,c) $ 值较高的单位向量 $ c $。
• 使用约束集 $ \{\langle s,x\rangle^2 \leq 1/8\} $ 排除已找到的分量 $ s $，确保分量的独立恢复。
• 利用 [BKS15] 中定理 5.2 提取一个向量 $ c $，使其与真实分量 $ a_i $ 的距离在 $ O(\epsilon) $ 以内，当 $ \widetilde{\mathbb{E}}[\langle a_i,x\rangle^k] \geq e^{-\epsilon k} $ 时成立。

实验结果

研究问题

• RQ1 当秩 $ m $ 超过维度 $ n $ 时，是否能高效求解过完备三阶张量分解？
• RQ2 平方和层级能否用于认证随机低秩张量的注入范数？
• RQ3 对于 $ p=3 $，是否可能通过基于 SoS 的方法突破 $ n^{\lfloor p/2\rfloor} $ 的秩限制？
• RQ4 解耦技术能否改进随机张量分析中的矩阵集中不等式？
• RQ5 基于 SoS 的算法能否作为学习潜变量模型中的有效初始化工具？

主要发现

• 本文提出一种在秩 $ m = n^{3/2}/\operatorname{poly}\log n $ 条件下，针对三阶张量分解的准多项式时间算法，突破了 $ n^{\lfloor p/2\rfloor} $ 的限制（当 $ p=3 $ 时）。
• 给出了一个多项式时间算法，用于认证随机低秩张量的注入范数，这是实现分量恢复的关键。
• 当伪期望满足 $ \widetilde{\mathbb{E}}[\langle a_i,x\rangle^k] \geq e^{-\epsilon k} $ 且 $ k = O((\log n)/\epsilon) $ 时，该方法可实现分量恢复，使得 $ \|c - a_i\| \leq 0.1 $。
• 该算法在随机张量模型下，以高概率通过 $ n^{O(k)} $ 次迭代恢复全部 $ m $ 个分量。
• 理论保证依赖于对随机变量的解耦以及证明比标准方法更紧的矩阵集中不等式。
• 该方法即使在 $ m \ll n^{3/2} $ 时仍能实现分量恢复，与过完备情形下偶数阶张量的已知 $ n^{p/2} $ 边界一致。