[论文解读] Guaranteed Non-Orthogonal Tensor Decomposition via Alternating Rank-$1$ Updates

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Feb 21, 2014

Tensor decomposition and applications参考文献 49被引用 96

一句话总结

该论文提出了一种基于交替秩-1更新的保证非正交张量分解算法，在相干性和秩条件满足下，对三阶张量实现了局部和全局收敛。当 $k = o(d^{1.5})$ 时，该方法实现线性收敛；在 $k \leq \beta d$ 条件下实现全局收敛，且对噪声张量提供了紧致的扰动界，从而在无需白化处理的情况下实现过完备表示。

ABSTRACT

In this paper, we provide local and global convergence guarantees for recovering CP (Candecomp/Parafac) tensor decomposition. The main step of the proposed algorithm is a simple alternating rank-$1$ update which is the alternating version of the tensor power iteration adapted for asymmetric tensors. Local convergence guarantees are established for third order tensors of rank $k$ in $d$ dimensions, when $k=o \bigl( d^{1.5} \bigr)$ and the tensor components are incoherent. Thus, we can recover overcomplete tensor decomposition. We also strengthen the results to global convergence guarantees under stricter rank condition $k \le βd$ (for arbitrary constant $β> 1$) through a simple initialization procedure where the algorithm is initialized by top singular vectors of random tensor slices. Furthermore, the approximate local convergence guarantees for $p$-th order tensors are also provided under rank condition $k=o \bigl( d^{p/2} \bigr)$. The guarantees also include tight perturbation analysis given noisy tensor.

研究动机与目标

• 为非正交CP张量分解提供收敛性保证，无需依赖计算成本高且数值不稳定的白化处理。
• 通过放松正交性约束，实现 $k$ 超过维度 $d$ 的过完备张量分解恢复。
• 通过使用随机张量切片的前导奇异向量进行简单初始化，实现全局收敛，避免强假设依赖。
• 为噪声张量提供紧致的扰动分析，确保在实际应用中的鲁棒性。
• 证明在潜在变量模型中常见的非相干张量分量可借助秩-1更新实现高效且稳定的分解。

提出的方法

• 该算法在每个张量模态上执行交替的秩-1更新，通过其他模态的当前估计值将当前估计投影到当前模态上。
• 每个更新步骤源自一种适用于非对称、非正交张量的张量幂迭代变体。
• 通过依赖张量分量的非相干性避免白化处理，该非相干性起到软正交性约束的作用。
• 提出一种新颖的初始化方法，利用随机张量切片的前导奇异向量，在 $k \leq \beta d$ 条件下实现全局收敛。
• 理论分析基于非相干性假设与三范数集中性，用于界定近似误差与收敛速率。
• 通过张量范数不等式与噪声下的稳定性界，推导出扰动分析，表明误差随 $O(\epsilon^{3-p})$ 变化，适用于 $p$ 阶张量。

实验结果

研究问题

• RQ1 在非相干性和次立方秩量级条件下，交替秩-1更新能否实现非正交张量分解的局部收敛？
• RQ2 通过随机张量切片奇异向量的简单初始化，能否在 $k \leq \beta d$ 条件下实现秩-$k$ 张量的全局收敛？
• RQ3 该算法能否在无需白化或正交性约束的情况下，实现 $k = o(d^{1.5})$ 的过完备张量分解恢复？
• RQ4 在噪声张量输入下，该算法性能如何？其扰动界是否足够紧致？
• RQ5 在交替秩-1更新中，非相干性、近似误差与收敛速率之间存在何种关系？

主要发现

• 在非相干性条件下，对三阶张量实现局部线性收敛，当 $k = o(d^{1.5})$ 时，分量恢复误差为 $\tilde{O}(\sqrt{k}/d)$，收敛速率依赖于此误差。
• 在更严格的秩条件 $k \leq \beta d$（任意常数 $\beta > 1$）下，通过前导奇异向量初始化可保证全局收敛。
• 该算法将分量恢复在 $\tilde{O}(w_{\max}\sqrt{k}/(w_{\min}d))$ 距离内，误差受非相干性控制。
• 对于噪声张量，扰动误差按 $O(\epsilon^{3-p})$ 变化，通过三范数集中性推导出紧致界。
• 该方法对噪声具有鲁棒性，且避免了病态条件问题，优于基于白化的方案，同时保持计算效率。
• 理论保证可扩展至 $p$ 阶张量，当 $k = o(d^{p/2})$ 时，表明其可扩展至更高阶分解。