[论文解读] Faster Tensor Train Decomposition for Sparse Data

Lingjie Li, Wenjian Yu+1 more|arXiv (Cornell University)|Aug 7, 2019

Tensor decomposition and applications参考文献 29被引用 6

一句话总结

该论文提出 FastTT，一种专为大规模稀疏张量优化的张量列车（TT）分解算法。通过结合精确的 TT 构建与高效的并行向量舍入及改进的 TT 舍入方法，FastTT 相较于 TT-SVD 和随机化 TT-SVD 实现了显著更快的计算速度——最高达 240× 加速，同时保持高精度与低 TT 秩，从而实现了此前无法实现的大规模稀疏张量分解。

ABSTRACT

In recent years, the application of tensors has become more widespread in fields that involve data analytics and numerical computation. Due to the explosive growth of data, low-rank tensor decompositions have become a powerful tool to harness the notorious curse of dimensionality. The main forms of tensor decomposition include CP decomposition, Tucker decomposition, tensor train (TT) decomposition, etc. Each of the existing TT decomposition algorithms, including the TT-SVD and randomized TT-SVD, is successful in the field, but neither can both accurately and efficiently decompose large-scale sparse tensors. Based on previous research, this paper proposes a new quasi-best fast TT decomposition algorithm for large-scale sparse tensors with proven correctness and the upper bound of its complexity is derived. In numerical experiments, we verify that the proposed algorithm can decompose sparse tensors faster than the TT-SVD, and have more speed, precision and versatility than randomized TT-SVD, and it can be used to decomposes arbitrary high-dimensional tensor without losing efficiency when the number of non-zero elements is limited. The new algorithm implements a large-scale sparse matrix TT decomposition that was previously unachievable, enabling tensor decomposition based algorithms to be applied in larger-scale scenarios.

研究动机与目标

• 解决现有 TT 分解算法（如 TT-SVD）在处理大规模稀疏张量时效率低下和内存占用过高的问题。
• 克服随机化 TT-SVD 的局限性，后者因使用近似 SVD 而导致精度损失。
• 开发一种在显著降低运行时间的同时保持低 TT 秩与高精度的稀疏数据分解方法。
• 无论张量维度如何，均能实现高维稀疏张量的 TT 分解，仅受非零元素数量的限制。
• 将算法扩展以支持矩阵到 TT（MPO）格式转换，提升其在数值线性代数与机器学习中的广泛应用潜力。

提出的方法

• 利用非零纤维构建精确的 TT 表示，以在初始分解阶段保持精度。
• 实现一种并行向量舍入技术，通过利用稀疏性与并行性加速 TT 舍入过程。
• 提出一种改进的 TT 舍入算法（算法 8），可动态调整截断参数，以在精度与秩缩减之间取得平衡。
• 采用动态参数选择策略，根据输入稀疏度与期望误差边界自动调节算法的截断阈值。
• 在舍入过程中以受控方式引入受随机 SVD 启发的采样方法，以提升速度而不损失精度。
• 支持将矩阵转换为矩阵乘积算子（MPO）格式，扩展其在线性代数与量子系统中的适用性。

实验结果

研究问题

• RQ1 能否设计一种 TT 分解算法，在大规模稀疏张量上实现数量级加速的同时保持高精度？
• RQ2 如何在不增加 TT 秩或降低精度的前提下，克服 TT-SVD 在稀疏场景下的计算瓶颈？
• RQ3 动态参数选择在多大程度上可提升 TT 分解在多样化稀疏数据上的性能与鲁棒性？
• RQ4 所提方法能否高效扩展至高维张量（如 10^4 维）且非零元素有限的情况？
• RQ5 与最先进的方法（如随机化 TT-SVD 和 TT-cross）相比，新算法在精度与效率方面表现如何？

主要发现

• 在图像/视频修复任务中，FastTT 相较于 TT-SVD 实现最高 9.6× 加速，且 TT 秩与相对误差完全一致。
• 在求解线性系统时，FastTT 相较于 TT-SVD 实现 240× 加速，同时保持相同精度与 TT 秩。
• 在稀疏数据处理中，FastTT 相较于 TT-SVD 实现 35× 加速，实际相对误差始终低于目标 ε。
• FastTT+ 中改进的 TT 舍入（算法 8）在 ε 较大时产生的 TT 秩低于标准 FastTT，代价是误差略高，表明其具有更高的秩效率。
• 该算法性能受限于非零元素数量而非张量维度，从而支持高维稀疏张量的可扩展分解。
• 理论分析证明了算法的正确性，并提供了计算复杂度的上界，证实了其高效性与稳定性。