[论文解读] Low-rank Tensor Train Decomposition Using TensorSketch

Zhongming Chen, Huilin Jiang+2 more|arXiv (Cornell University)|Sep 15, 2023

Tensor decomposition and applicationsMathematics被引用 3

一句话总结

该论文提出了一种基于 TensorSketch 的随机化近端交替最小二乘法（ALS）算法，用于低秩张量列车（TT）分解，以加速大规模张量的计算。通过引入近端正则化项并利用 TensorSketch 所支持的快速傅里叶变换效率，该方法在传统 ALS 及现有随机化方法的基础上，实现了更优的精度与速度，尤其在增大压缩尺寸和 TT 秩时表现更佳。

ABSTRACT

Tensor train decomposition is one of the most powerful approaches for processing high-dimensional data. For low-rank tensor train decomposition of large tensors, the alternating least squares (ALS) algorithm is widely used by updating each core tensor alternatively. However, it may suffer from the curse of dimensionality due to the large scale of subproblems. In this paper, a novel randomized proximal ALS algorithm is proposed for low-rank tensor train decomposition by using TensorSketch, which allows for efficient implementation via fast Fourier transform. The theoretical lower bounds of sketch size are estimated for approximating the optimal value of subproblems. Numerical experiments on synthetic and real-world data also demonstrate the effectiveness and efficiency of the proposed algorithm.

研究动机与目标

• 解决大规模高维张量在低秩张量列车（TT）分解中交替最小二乘法（ALS）的计算瓶颈问题。
• 通过引入随机化与正则化，克服经典 TT-ALS 与 TT-SVD 方法在维度灾难与内存限制方面的挑战。
• 通过添加近端正则化项，提升 ALS 的稳定性和收敛性，缓解解的“沼泽效应”与非唯一性问题。
• 利用 TensorSketch 实现快速稀疏随机投影，保留精度的同时显著减小子问题规模。
• 建立压缩尺寸的理论下界，以确保以高概率获得近似最优子问题解。

提出的方法

• 通过添加惩罚当前迭代值偏离程度的近端项，引入正则化 ALS 子问题，增强解的唯一性与收敛性。
• 利用 TensorSketch 通过稀疏随机投影实现快速 Johnson-Lindenstrauss 嵌入，对 TT-ALS 中的大规模子问题进行压缩。
• 利用快速傅里叶变换（FFT）加速 TensorSketch 操作，使张量 Kronecker 积结构的压缩达到 O(n log n) 复杂度。
• 在压缩数据上使用截断奇异值分解（SVD）高效求解压缩后的子问题，降低计算成本同时保持精度。
• 通过理论分析推导出压缩尺寸的下界，以保证以高概率近似最优子问题解。
• 将随机压缩集成到交替最小化框架中，通过压缩最小二乘法迭代更新 TT 核心。

实验结果

研究问题

• RQ1 在保持大规模张量解精度的前提下，TensorSketch 是否能有效加速 TT-ALS 中的子问题？
• RQ2 与标准 ALS 相比，近端正则化的引入在随机化 TT 分解中如何提升稳定性与收敛性？
• RQ3 为确保在压缩子问题中对最优 TT 核心实现高概率近似，所需的理论最小压缩尺寸是多少？
• RQ4 在真实世界数据上，所提出的 TT-TS 算法在精度与计算效率方面与 TT-ALS 和 TT-Random 相比表现如何？
• RQ5 增加压缩尺寸与 TT 秩在多大程度上提升了所提方法的近似质量？

主要发现

• 在 TT 秩为 (1,50,3,1)、压缩尺寸为 200 的彩色图像上，所提 TT-TS 算法的 PSNR 达到 30.63，高于 TT-Random 的 29.7，表明其精度更优。
• 在高光谱图像数据上，TT-TS 在相对误差与光谱曲线近似方面持续优于 TT-Random，尤其在应用近端正则化时表现更佳。
• 在包含 30 帧的视频数据上，TT-ALS 因内存不足而崩溃，而 TT-TS 与 TT-Random 均在每轮迭代中耗时不足 0.1 秒，展现出良好的可扩展性。
• 在视频数据集的第二帧上，TT-TS 的 PSNR 达到 35.23，显著高于 TT-Random 的 25.1，且在相同设置下表现更优。
• 随着压缩尺寸增大，TT-TS 与 TT-ALS 的差距逐渐缩小，表明当压缩足够充分时，该方法可逼近最优解。
• 理论压缩尺寸下界被发现过于保守，提示未来研究可进一步优化分析以获得更紧致的理论边界。