[论文解读] Computing low-rank approximations of large-scale matrices with the Tensor Network randomized SVD

Kim Batselier, Wenjian Yu+2 more|arXiv (Cornell University)|Jul 25, 2017

Tensor decomposition and applications参考文献 19被引用 3

一句话总结

本文提出了一种张量网络随机化SVD（TNrSVD）算法，这是一种快速且精确的方法，用于计算以矩阵乘积算子（MPO）格式存储的大规模矩阵的低秩近似。该方法在保持机器精度的同时，相较于最先进的ALS-SVD和MALS-SVD方法，速度最高提升17倍，并提出了一种新型的矩阵到MPO转换算法，速度最高比TT-SVD快509倍。

ABSTRACT

We propose a new algorithm for the computation of a singular value decomposition (SVD) low-rank approximation of a matrix in the Matrix Product Operator (MPO) format, also called the Tensor Train Matrix format. Our tensor network randomized SVD (TNrSVD) algorithm is an MPO implementation of the randomized SVD algorithm that is able to compute dominant singular values and their corresponding singular vectors. In contrast to the state-of-the-art tensor-based alternating least squares SVD (ALS-SVD) and modified alternating least squares SVD (MALS-SVD) matrix approximation methods, TNrSVD can be up to 17 times faster while achieving the same accuracy. In addition, our TNrSVD algorithm also produces accurate approximations in particular cases where both ALS-SVD and MALS-SVD fail to converge. We also propose a new algorithm for the fast conversion of a sparse matrix into its corresponding MPO form, which is up to 509 times faster than the standard Tensor Train SVD (TT-SVD) method while achieving machine precision accuracy. The efficiency and accuracy of both algorithms are demonstrated in numerical experiments.

研究动机与目标

• 为解决以MPO格式存储的大规模矩阵在低秩近似中的计算瓶颈问题。
• 克服现有基于张量的SVD方法（如ALS-SVD和MALS-SVD）在某些情况下收敛失败的问题。
• 开发一种快速、精确且可扩展的稀疏矩阵到MPO的转换算法。
• 将随机化SVD技术整合到张量网络框架中，以提升性能。

提出的方法

• 提出一种专为以矩阵乘积算子（MPO）格式表示的矩阵设计的随机化SVD算法，利用张量网络结构。
• 将随机化SVD框架适配为直接在MPO表示上运行，避免完整矩阵的形成。
• 利用幂迭代和随机投影，在MPO格式中高效提取主导的奇异值和奇异向量。
• 提出一种新型的矩阵到MPO转换算法，结合秩揭示QR分解与TT格式的张量列车截断，实现机器精度。
• 采用Cuthill-McKee重排策略在转换前降低MPO秩，提升效率。
• 实施一种具有自适应容差的截断过程，以控制近似误差，同时保持精度。

实验结果

研究问题

• RQ1 能否将随机化SVD算法有效适配到张量网络框架中，用于MPO表示的矩阵，以提升计算速度？
• RQ2 在大规模矩阵上，所提出的TNrSVD与ALS-SVD和MALS-SVD相比，在速度和精度方面表现如何？
• RQ3 新提出的矩阵到MPO转换算法是否能在显著快于现有方法（如TT-SVD）的同时，实现机器精度的准确性？
• RQ4 在ALS-SVD和MALS-SVD无法收敛的情况下，TNrSVD是否仍能生成准确的低秩近似？
• RQ5 矩阵重排策略对最终MPO秩和计算效率有何影响？

主要发现

• 在$2^N \times 2^N$矩阵上，TNrSVD算法相较于MALS-SVD方法实现了最高17倍的速度提升，同时保持相同精度。
• 对于具有指定奇异值的随机矩阵进行秩-50近似时，TNrSVD比MALS-SVD快17倍，比ALS-SVD快5倍。
• 所提出的矩阵到MPO转换算法比标准TT-SVD方法快至509倍，且保持机器精度。
• 当ALS-SVD和MALS-SVD在高维矩阵上无法收敛时，TNrSVD仍能成功计算出准确的低秩近似。
• 标准矩阵实现的随机化SVD在$N=15$后因内存限制而失效，而所有基于张量的方法（包括TNrSVD）仍可扩展至$N=50$。
• TNrSVD中采用自适应截断容差，确保秩-50近似下估计奇异值的相对误差始终低于$10^{-6}$。