[论文解读] Power Iteration for Tensor PCA

Jiaoyang Huang, Daniel Zhengyu Huang+2 more|arXiv (Cornell University)|Dec 26, 2020

Tensor decomposition and applications参考文献 53被引用 7

一句话总结

本文建立了在突变张量模型中张量幂迭代收敛的必要与充分条件，表明对信号强度和信号向量线性泛函的估计量渐近服从高斯分布（秩一）或高斯混合分布（多秩），从而可构建有效且高效的置信区间。结果将经典PCA推断推广至高阶张量，在非渐近、有限样本条件下依然成立。

ABSTRACT

In this paper, we study the power iteration algorithm for the spiked tensor model, as introduced in [44]. We give necessary and sufficient conditions for the convergence of the power iteration algorithm. When the power iteration algorithm converges, for the rank one spiked tensor model, we show the estimators for the spike strength and linear functionals of the signal are asymptotically Gaussian; for the multi-rank spiked tensor model, we show the estimators are asymptotically mixtures of Gaussian. This new phenomenon is different from the spiked matrix model. Using these asymptotic results of our estimators, we construct valid and efficient confidence intervals for spike strengths and linear functionals of the signals.

研究动机与目标

• 为解决张量PCA中缺乏统计推断工具的问题，特别是针对信号强度和信号泛函的置信区间。
• 在突变张量模型中建立张量幂迭代的收敛条件，尤其针对阶数 $k \geq 3$ 的情形。
• 在幂迭代下，推导信号向量的信号强度和线性泛函估计量的渐近分布。
• 利用改进的渐近理论构建有效且高效的置信区间，克服以往工作中偏差和 $L_2$-风险的限制。
• 弥合张量PCA中计算可行性与统计推断之间的差距，尤其在最大似然估计为NP难的场景下。

提出的方法

• 提出一种由递推关系 $\mathbf{u}_{t+1} = \frac{\mathbf{X}[\mathbf{u}_t^{\otimes(k-1)}]}{\|\mathbf{X}[\mathbf{u}_t^{\otimes(k-1)}]\|_2}$ 定义的张量幂迭代算法，初始值为随机单位向量。
• 分析在秩一和多秩突变张量模型下，幂迭代估计量 $\widehat{\mathbf{v}}$ 的渐近分布。
• 推导 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ 的极限分布为高斯分布或高斯混合分布，具体取决于模型的秩。
• 证明 $\sqrt{n} \left( \beta_i - \widehat{\beta} + \frac{k/2 - 1}{\widehat{\beta}} \right) \xrightarrow{d} \mathcal{N}(0,1)$，从而支持对信号强度的置信区间构建。
• 将估计误差分解为偏差与噪声两部分，其中噪声项通过噪声张量 $\mathbf{Z}$ 的独立同分布条目应用中心极限定理，证明其渐近服从高斯分布。
• 对 $\|\mathbf{Z}[\mathbf{v}^{\otimes(k-1)}]\|_2$ 应用高概率界，以控制估计量中的随机误差。

实验结果

研究问题

• RQ1 在何种条件下，张量幂迭代算法在突变张量模型中收敛？
• RQ2 在秩一和多秩突变张量模型中，信号向量的幂迭代估计量的渐近分布为何？
• RQ3 能否利用幂迭代估计量为信号强度和信号向量的线性泛函构建有效且高效的置信区间？
• RQ4 该估计量的渐近行为与经典突变矩阵模型有何不同？
• RQ5 信噪比 $\beta$ 在决定估计量的收敛性与分布性质方面起何作用？

主要发现

• 当且仅当 $\beta \gg n^{(k-2)/2}$ 时，幂迭代算法收敛，确立了收敛的精确阈值。
• 在秩一突变张量模型中，估计量 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ 在适当的归一化下渐近服从正态分布。
• 在多秩模型中，估计量 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ 收敛于高斯混合分布，这是矩阵情形中未见的新现象。
• 信号强度估计量 $\widehat{\beta}$ 满足 $\sqrt{n} \left( \beta_i - \widehat{\beta} + \frac{k/2 - 1}{\widehat{\beta}} \right) \xrightarrow{d} \mathcal{N}(0,1)$，从而支持有效置信区间的构建。
• 在条件 $|\beta_1| \gtrsim n^{(k-2)/2 + \varepsilon}$ 下，插补估计量 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ 的偏差渐近可忽略。
• 估计量的渐近方差取决于 $\mathbf{a}$ 在信号向量正交补空间上的投影，由 $\| \mathbf{a} - \langle \mathbf{a}, \widehat{\mathbf{v}} \rangle \widehat{\mathbf{v}} \|_2^2 / n$ 表征。