[论文解读] A Robust Spectral Algorithm for Overcomplete Tensor Decomposition

Samuel B. Hopkins, Tselil Schramm+1 more|arXiv (Cornell University)|Mar 5, 2022

Tensor decomposition and applications被引用 14

一句话总结

该论文提出了一种针对四阶张量的鲁棒谱算法，可实现高达 $ d^2 $ 秩的过完备张量分解，利用线性代数运算而非半定规划。在较弱的代数非退化条件下，该算法在谱范数有界的扰动下仍保持鲁棒性，运行时间为 $ \tilde{O}(n^2 d^3) $，其鲁棒性与基于和的平方（SoS）方法相当，但计算速度显著更快。

ABSTRACT

We give a spectral algorithm for decomposing overcomplete order-4 tensors, so long as their components satisfy an algebraic non-degeneracy condition that holds for nearly all (all but an algebraic set of measure $0$) tensors over $(\mathbb{R}^d)^{\otimes 4}$ with rank $n \le d^2$. Our algorithm is robust to adversarial perturbations of bounded spectral norm. Our algorithm is inspired by one which uses the sum-of-squares semidefinite programming hierarchy (Ma, Shi, and Steurer STOC'16, arXiv:1610.01980), and we achieve comparable robustness and overcompleteness guarantees under similar algebraic assumptions. However, our algorithm avoids semidefinite programming and may be implemented as a series of basic linear-algebraic operations. We consequently obtain a much faster running time than semidefinite programming methods: our algorithm runs in time $ ilde O(n^2d^3) \le ilde O(d^7)$, which is subquadratic in the input size $d^4$ (where we have suppressed factors related to the condition number of the input tensor).

研究动机与目标

• 开发一种针对四阶张量过完备张量分解的快速、鲁棒算法。
• 在避免半定规划计算开销的同时，保持对对抗性扰动的鲁棒性。
• 在几乎所有秩为 $ n \leq d^2 $ 的张量中几乎必然成立的代数非退化条件下实现分解。
• 提供一种既高效又可证明鲁棒的谱算法，其保证与和的平方方法相当，但运行时间更低。

提出的方法

• 通过提升步骤将张量映射到更高维空间，使分量可通过谱方法识别。
• 采用白化过程对张量分量进行归一化，从而实现对平方分量的稳定恢复。
• 通过测试谱对齐和正交性条件，执行舍入阶段以提取候选分量。
• 依赖矩阵集中与去耦不等式来控制扰动影响并确保鲁棒性。
• 通过基本的线性代数运算优化运行时间，避免使用半定规划，实现 $ \tilde{O}(n^2 d^3) $ 的时间复杂度。
• 在随机张量假设下，通过谱范数分析和矩阵伯恩斯坦不等式建立鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种谱算法，在不依赖半定规划的前提下，高效分解过完备的四阶张量？
• RQ2 在过完备情形（$ n \leq d^2 $）下，何种条件可确保张量分量的唯一性与可识别性？
• RQ3 如何仅通过线性代数运算实现对对抗性扰动的鲁棒性？
• RQ4 此类鲁棒的非SDP谱算法的时间复杂度是多少？
• RQ5 能否对随机张量的条件数进行有界控制，以确保算法的稳定性？

主要发现

• 该算法运行时间为 $ \tilde{O}(n^2 d^3) \leq \tilde{O}(d^7) $，在输入规模 $ d^4 $ 下为次二次时间，远快于半定规划方法。
• 其对谱范数有界的对抗性扰动具有鲁棒性，鲁棒性保证与和的平方方法相当。
• 该方法在代数非退化条件下成立，该条件在 $ (\mathbb{R}^d)^{\otimes 4} $ 中几乎所有张量（测度为零的例外集除外）中成立，且秩 $ n \leq d^2 $。
• 随机张量的条件数以高概率有界，支持算法的稳定性和收敛性。
• 利用矩阵去耦与伯恩斯坦不等式证明，提升后的矩阵接近于缩放后的单位矩阵，从而实现分量恢复。
• 在分量具有轻微随机性假设的前提下，最终算法以高概率成功恢复张量分量。