[论文解读] Analyzing Tensor Power Method Dynamics in Overcomplete Regime

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Nov 6, 2014

Tensor decomposition and applications参考文献 25被引用 27

一句话总结

本文分析了在张量秩超过维度的过完备情形下张量幂迭代的动力学。在温和初始化和随机分量假设下，证明了幂迭代可在 O(log log d) 步内实现二次收敛至真实分量，从而实现高效的 CP 分解，并在 k = o(d^1.5) 范围内实现潜在变量模型的无监督学习。

ABSTRACT

We present a novel analysis of the dynamics of tensor power iterations in the overcomplete regime where the tensor CP rank is larger than the input dimension. Finding the CP decomposition of an overcomplete tensor is NP-hard in general. We consider the case where the tensor components are randomly drawn, and show that the simple power iteration recovers the components with bounded error under mild initialization conditions. We apply our analysis to unsupervised learning of latent variable models, such as multi-view mixture models and spherical Gaussian mixtures. Given the third order moment tensor, we learn the parameters using tensor power iterations. We prove it can correctly learn the model parameters when the number of hidden components $k$ is much larger than the data dimension $d$, up to $k = o(d^{1.5})$. We initialize the power iterations with data samples and prove its success under mild conditions on the signal-to-noise ratio of the samples. Our analysis significantly expands the class of latent variable models where spectral methods are applicable. Our analysis also deals with noise in the input tensor leading to sample complexity result in the application to learning latent variable models.

研究动机与目标

• 分析张量幂迭代在张量秩 k 超过输入维度 d 的过完备情形下的收敛动力学。
• 建立在过完备张量分解为 NP-难问题的背景下，简单幂迭代方法仍能可靠恢复张量分量的条件。
• 将谱方法的适用范围扩展至过完备潜在变量模型，如多视角混合模型和球面高斯混合模型。
• 通过分析输入张量中的噪声影响，提供样本复杂度保证。
• 在随机初始化和温和信噪比条件下，刻画真实分量的吸引域。

提出的方法

• 分析三阶张量幂迭代：x ← T(I, x, x) / ||T(I, x, x)||，将其视为步长为无穷大的梯度下降步骤。
• 假设张量分量 a_j 为单位球面上独立同分布的均匀分布，且权重 λ_j 的比值有界。
• 在 ℓ₂ 范数和 ||·||_B* 范数下的单位范数向量上使用 ε-网论证，以界定多线性形式 T'(u,v,w) = ∑_{j>1} η_j ⟨u,a_j⟩⟨v,a_j⟩⟨w,a_j⟩。
• 应用伯恩斯坦不等式界定小内积项之和（S_L^c），获得 Õ(√(k/d)) 的高概率界。
• 利用随机高斯矩阵的限制等距性（RIP）界定大内积项之和（S_L），证明 ||B_L|| ≤ 2 几乎必然成立。
• 结合 S_L 和 S_L^c 的界，证明 ||T'(u,v,I)||₂ ≤ Õ(√(k/d)) 几乎必然成立，从而支持收敛性分析。

实验结果

研究问题

• RQ1 在 k > d 且正交化不可行的过完备情形下，张量幂迭代能否收敛至真实分量？
• RQ2 在随机初始化下，真实分量的吸引域大小如何？
• RQ3 与矩阵情形相比，张量幂迭代在过完备情形下的收敛速度如何？
• RQ4 何种信噪比条件可确保在存在噪声时成功恢复分量？
• RQ5 在数据维度 d 给定的情况下，张量幂迭代仍有效的最大过完备秩 k 是多少？

主要发现

• 在温和初始化条件下，张量幂迭代可在 O(log log d) 次迭代内收敛至真实分量，且在过完备情形下表现出二次收敛。
• 当分量数 k 满足 k = o(d^{1.5}) 时，该方法能成功恢复分量，显著扩展了适用潜在变量模型的范围。
• 以高概率，对于 ℓ₂ 范数和 ||·||_B* 范数下的单位向量，残差张量 T'(u,v,I) 的范数被限制在 Õ(√(k/d)) 以内。
• 通过考虑输入张量中的噪声影响，该分析建立了样本复杂度结果，确保了在实际学习应用中的鲁棒性。
• 在温和信噪比条件下，每个真实分量 a_j 的吸引域包含所有满足有界 ||·||_B* 范数的初始化向量。
• 该方法适用于多视角混合模型和球面高斯混合模型的无监督学习，能够从三阶矩张量中高效恢复参数。