[论文解读] Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions

Linjian Ma, Edgar Solomonik|arXiv (Cornell University)|Apr 2, 2021

Tensor decomposition and applications参考文献 51被引用 10

一句话总结

本文提出了一种快速且准确的随机化算法，用于低秩Tucker张量分解，采用压缩交替最小二乘法（ALS），其中每个子问题均为通过TensorSketch或杠杆度采样求解的秩约束线性最小二乘问题。该方法在最先进方法的基础上实现了高达22.0%的相对残差改进，并通过Tucker压缩加速了CP分解，从而实现更快的收敛速度和更高的精度。

ABSTRACT

Low-rank Tucker and CP tensor decompositions are powerful tools in data analytics. The widely used alternating least squares (ALS) method, which solves a sequence of over-determined least squares subproblems, is costly for large and sparse tensors. We propose a fast and accurate sketched ALS algorithm for Tucker decomposition, which solves a sequence of sketched rank-constrained linear least squares subproblems. Theoretical sketch size upper bounds are provided to achieve $O(ε)$ relative error for each subproblem with two sketching techniques, TensorSketch and leverage score sampling. Experimental results show that this new ALS algorithm, combined with a new initialization scheme based on randomized range finder, yields up to $22.0\%$ relative decomposition residual improvement compared to the state-of-the-art sketched randomized algorithm for Tucker decomposition of various synthetic and real datasets. This Tucker-ALS algorithm is further used to accelerate CP decomposition, by using randomized Tucker compression followed by CP decomposition of the Tucker core tensor. Experimental results show that this algorithm not only converges faster, but also yields more accurate CP decompositions.

研究动机与目标

• 为解决传统ALS在Tucker和CP分解中处理大规模稀疏张量时计算成本过高的问题。
• 开发一种用于Tucker分解的压缩ALS算法，在保持精度的同时将每轮迭代的计算成本降低至O(nnz(T)R)以下。
• 为秩约束最小二乘子问题中的相对误差提供更紧致的理论压缩大小边界。
• 通过一种新型随机化范围查找初始化方法，提升高一致度、稀疏张量的随机化Tucker分解精度。
• 通过先对核心张量进行随机化Tucker压缩，从而加速CP分解。

提出的方法

• 采用与HOOI相同的改进型ALS方案，每轮子问题中更新一个因子矩阵和核心张量，但通过压缩技术求解每个子问题。
• 对大小为s^{N-1} × R^{N-1}且具有正交列的左侧行矩阵的秩约束线性最小二乘子问题应用压缩技术。
• 采用两种压缩技术：TensorSketch和杠杆度采样，两者均被证明可实现O(ε)的相对误差。
• 推导出理论压缩大小上界：杠杆度采样为O(R^{N-1}/(ε²δ))，TensorSketch为O((R^{N-1}·3^{N-1})/δ·(R^{N-1}+1/ε²))。
• 提出一种基于随机化范围查找的初始化方法，以提升杠杆度采样在高一致度张量上的精度。
• 通过先利用随机化Tucker分解压缩输入张量，再对压缩后的小型核心张量应用CP-ALS，从而加速CP分解。

实验结果

研究问题

• RQ1 在保持精度的前提下，压缩技术能否有效应用于Tucker ALS中秩约束最小二乘子问题？
• RQ2 使用TensorSketch和杠杆度采样时，理论上达到O(ε)相对误差所需的压缩大小是多少？
• RQ3 所提出的压缩Tucker-ALS算法在精度和速度上与现有随机化及经典Tucker分解方法相比如何？
• RQ4 先进行Tucker压缩再进行CP分解，是否能比直接使用CP-ALS获得更快的收敛速度和更高的精度？
• RQ5 基于随机化范围查找的初始化是否能提升杠杆度采样在稀疏、高一致度张量的Tucker分解中的性能？

主要发现

• 所提出的压缩ALS算法在Tucker分解中，相较于最先进随机化压缩算法，在合成数据和真实数据集上实现了高达22.0%的相对残差改进。
• 理论压缩大小边界比先前工作更紧致，杠杆度采样实现O(ε)相对误差所需的压缩大小为O(R^{N-1}/(ε²δ))。
• TensorSketch需要更大的压缩大小O((R^{N-1}·3^{N-1})/δ·(R^{N-1}+1/ε²))，但仍可实现O(ε)的相对误差。
• 采用压缩Tucker-ALS后接CP-ALS的Tucker + CP分解流程，仅需少于5轮Tucker迭代即可收敛，而直接CP-ALS需超过10轮迭代。
• 对于稀疏张量（p = 0.1 和 p = 0.02），Tucker + CP方法展现出更大的性能优势，尤其在残差精度方面。
• 尽管理论边界更紧致，但在相同压缩大小下，杠杆度采样与TensorSketch在多种张量类型上的实验性能表现相近。