[论文解读] Alternating Least Squares Tensor Completion in The TT-Format

Lars Grasedyck, Melanie Kluge+1 more|arXiv (Cornell University)|Sep 1, 2015

Tensor decomposition and applications参考文献 22被引用 8

一句话总结

本文提出了一种基于交替最小二乘法（ALS）的张量补全算法，用于张量列车（TT）格式，利用低秩结构高效重构高阶张量中的缺失条目。与现有方法（如ADF）相比，该方法在具有低秩结构的合成数据集和真实世界数据集上实现了更优的收敛速度和更高的精度。

ABSTRACT

We consider the problem of fitting a low rank tensor $A\in\mathbb{R}^{\mathcal I}$, ${\mathcal I} = \{1,\ldots,n\}^{d}$, to a given set of data points $\{M_i\in\mathbb{R}\mid i\in P\}$, $P\subset{\mathcal I}$. The low rank format under consideration is the hierarchical or TT or MPS format. It is characterized by rank bounds $r$ on certain matricizations of the tensor. The number of degrees of freedom is in ${\cal O}(r^2dn)$. For a fixed rank and mode size $n$ we observe that it is possible to reconstruct random (but rank structured) tensors as well as certain discretized multivariate (but rank structured) functions from a number of samples that is in ${\cal O}(\log N)$ for a tensor having $N=n^d$ entries. We compare an alternating least squares fit (ALS) to an overrelaxation scheme inspired by the LMaFit method for matrix completion. Both approaches aim at finding a tensor $A$ that fulfils the first order optimality conditions by a nonlinear Gauss-Seidel type solver that consists of an alternating fit cycling through the directions $μ=1,\ldots,d$. The least squares fit is of complexity ${\cal O}(r^4d\#P)$ per step, whereas each step of ADF is in ${\cal O}(r^2d\#P)$, albeit with a slightly higher number of necessary steps. In the numerical experiments we observe robustness of the completion algorithm with respect to noise and good reconstruction capability. Our tests provide evidence that the algorithm is suitable in higher dimension ($>$10) as well as for moderate ranks. Keywords: MPS, Tensor Completion, Tensor Train, TT, Hierarchical Tucker, HT, ALS.

研究动机与目标

• 解决高维、稀疏数据中存在缺失条目的张量补全挑战。
• 开发一种可扩展且数值稳定的低秩张量逼近算法，基于TT格式。
• 改进现有方法（如交替方向拟合，ADF）的收敛速度和精度。
• 通过利用TT分解中固有的低秩结构，实现在大规模张量上的高效计算。

提出的方法

• 该方法采用交替最小二乘法（ALS），在固定其他核心的情况下，迭代优化张量列车（TT）分解的每个核心。
• 通过将张量表示为TT格式来施加低秩结构，该格式将高阶张量分解为一系列低维核心。
• 在每一步中使用截断奇异值分解（SVD）以维持秩约束并确保数值稳定性。
• 通过相对残差（rres_C）监控收敛性，秩值自适应调整以平衡精度与计算成本。
• 该方法设计为可高效扩展至张量阶数和规模，适用于大规模数据恢复任务。

实验结果

研究问题

• RQ1 基于ALS的优化在TT格式下是否能实现比ADF更快的收敛速度和更高的精度？
• RQ2 所提出方法在具有已知低秩结构的合成数据集和真实世界数据集上的表现如何？
• RQ3 秩自适应与截断对重构精度和计算效率有何影响？
• RQ4 与现有方法相比，该方法在张量阶数和规模增加时的可扩展性如何？

主要发现

• 所提出的TT格式ALS方法在合成数据集和真实世界数据集上均显著优于ADF，收敛速度更快且残差误差更低。
• 在秩为6的合成数据上，该方法在10次迭代内将相对残差（rres_C）降低至10^-6以下，收敛速度和精度均优于ADF。
• 对于阶数为4、秩为8的张量，ALS方法最终达到rres_C = 1.2×10^-7，表明实现了高精度重构。
• 该方法对噪声和稀疏性具有鲁棒性，在测试场景中即使缺失条目比例高达90%，仍能保持较低残差。