[论文解读] Guaranteed Simultaneous Asymmetric Tensor Decomposition via Orthogonalized Alternating Least Squares

Furong Huang, Jialin Li+1 more|arXiv (Cornell University)|May 25, 2018

Tensor decomposition and applications参考文献 26被引用 5

一句话总结

本文提出了一种新型算法——切片初始化交替子空间迭代（s-ASI），用于在使用正交化交替最小二乘法的前提下，保证同时恢复非对称张量的前 $ r $ 个分量。在无噪声条件下，该算法几乎必然在 $ O(\log \log \frac{1}{\epsilon}) $ 步内收敛至前 $ r $ 个分量，且对噪声具有鲁棒性，噪声水平低于 $ \min\{O(\frac{(\lambda_r - \lambda_{r+1})\epsilon}{\sqrt{r}}), O(\delta_0 \frac{\lambda_r - \lambda_{r+1}}{\sqrt{d}})\} $，首次为同时正交非对称张量分解提供了理论保证。

ABSTRACT

Tensor CANDECOMP/PARAFAC (CP) decomposition is an important tool that solves a wide class of machine learning problems. Existing popular approaches recover components one by one, not necessarily in the order of larger components first. Recently developed simultaneous power method obtains only a high probability recovery of top $r$ components even when the observed tensor is noiseless. We propose a Slicing Initialized Alternating Subspace Iteration (s-ASI) method that is guaranteed to recover top $r$ components ($ε$-close) simultaneously for (a)symmetric tensors almost surely under the noiseless case (with high probability for a bounded noise) using $O(\log(\log \frac{1}ε))$ steps of tensor subspace iterations. Our s-ASI method introduces a Slice-Based Initialization that runs $O(1/\log(\frac{λ_r}{λ_{r+1}}))$ steps of matrix subspace iterations, where $λ_r$ denotes the r-th top singular value of the tensor. We are the first to provide a theoretical guarantee on simultaneous orthogonal asymmetric tensor decomposition. Under the noiseless case, we are the first to provide an \emph{almost sure} theoretical guarantee on simultaneous orthogonal tensor decomposition. When tensor is noisy, our algorithm for asymmetric tensor is robust to noise smaller than $\min\{O(\frac{(λ_r - λ_{r+1})ε}{\sqrt{r}}), O(δ_0\frac{λ_r -λ_{r+1}}{\sqrt{d}})\}$, where $δ_0$ is a small constant proportional to the probability of bad initializations in the noisy setting.

研究动机与目标

• 为解决在在线或实时学习场景下，非对称张量分解中缺乏对前 $ r $ 个分量的保证性、同步恢复的问题。
• 通过在无噪声条件下实现几乎必然收敛，克服以往工作中顺序降噪方法和高概率保证的局限性。
• 开发一种对非对称张量分解具有鲁棒性的算法，同时在有界噪声下保持理论保证。
• 提出一种新颖的基于切片的初始化方法，实现在未知 $ R $ 的前提下，稳定且保证收敛至前 $ r $ 个分量。

提出的方法

• 提出切片初始化交替子空间迭代（s-ASI），结合张量子空间迭代与正交化交替最小二乘法（o-ALS）。
• 引入基于切片的初始化方法，通过执行 $ O(1 / \log(\lambda_r / \lambda_{r+1})) $ 步的矩阵子空间迭代来初始化前 $ r $ 个分量。
• 采用正交化交替最小二乘法（o-ALS）迭代优化分量估计，同时保持正交性。
• 基于主角与奇异值间隙的收敛性分析，用于限制迭代过程中的子空间误差。
• 通过分析噪声张量的算子范数与谱间隙 $ \mathsf{gap}_r = \lambda_r - \lambda_{r+1} $，推导出噪声鲁棒性的理论边界。
• 建立无噪声情况下的几乎必然收敛性，以及在有界噪声下的高概率收敛性，并给出明确的噪声阈值。

实验结果

研究问题

• RQ1 我们能否实现对非对称张量中前 $ r $ 个分量的保证性同步恢复，而非顺序或高概率恢复？
• RQ2 能否设计一种具有几乎必然收敛性的张量分解算法，用于正交非对称张量分解？
• RQ3 在未知 $ R $ 的前提下，何种初始化策略可确保稳定且保证收敛？
• RQ4 所提方法对噪声的鲁棒性如何？其保证收敛的最大噪声水平是多少？

主要发现

• 在无噪声条件下，s-ASI 算法几乎必然在 $ O(\log \log \frac{1}{\epsilon}) $ 次迭代内收敛至前 $ r $ 个分量。
• 该算法对噪声具有鲁棒性，噪声水平可达 $ \min\{O(\frac{(\lambda_r - \lambda_{r+1})\epsilon}{\sqrt{r}}), O(\delta_0 \frac{\lambda_r - \lambda_{r+1}}{\sqrt{d}})\} $，其中 $ \delta_0 $ 与初始化失败概率成正比。
• 基于切片的初始化在无噪声条件下确保以概率 1 收敛至正确子空间，即使 $ R $ 未知亦成立。
• 该方法首次为非对称情况下同时正交张量分解提供了理论保证，解决了先前研究中的关键空白。
• 收敛速率与张量秩和维度无关，使其在高维问题中具有可扩展性和高效性。