[论文解读] Krylov-Type Methods for Tensor Computations

Berkant Savas, Lars Eldén|arXiv (Cornell University)|May 5, 2010

Tensor decomposition and applications参考文献 23被引用 5

一句话总结

本文提出了三种Krylov型方法——极小、极大和收缩张量积Krylov递推法——用于大规模稀疏张量的低秩逼近。证明了极小Krylov递推法在最多max{p,q,r}次迭代内可提取出多线性秩为(p,q,r)的张量的正确多线性子空间，并提出了一种子空间选择过程优化的变体，仅使用稀疏张量运算即可提升逼近质量。

ABSTRACT

Several Krylov-type procedures are introduced that generalize matrix Krylov methods for tensor computations. They are denoted minimal Krylov recursion, maximal Krylov recursion, contracted tensor product Krylov recursion. It is proved that the for a given tensor with low rank, the minimal Krylov recursion extracts the correct subspaces associated to the tensor within certain number of iterations. An optimized minimal Krylov procedure is described that gives a better tensor approximation for a given multilinear rank than the standard minimal recursion. The maximal Krylov recursion naturally admits a Krylov factorization of the tensor. The tensor Krylov methods are intended for the computation of low-rank approximations of large and sparse tensors, but they are also useful for certain dense and structured tensors for computing their higher order singular value decompositions or obtaining starting points for the best low-rank computations of tensors. A set of numerical experiments, using real life and synthetic data sets, illustrate some of the properties of the tensor Krylov methods.

研究动机与目标

• 解决信息科学应用中大规模稀疏张量低秩逼近的高效算法需求。
• 将矩阵Krylov方法（如Arnoldi和Golub-Kahan）推广至张量设置，保持子空间提取与分解等关键性质。
• 开发计算高效且适用于低多线性秩张量（包括稠密与结构化张量）的方法。
• 提供加速高阶SVD（HOSVD）的框架，并为最佳低秩张量逼近问题生成优质初始值。
• 在真实与合成稀疏张量数据集上展示张量Krylov方法的可行性和有效性。

提出的方法

• 提出极小Krylov递推法，通过重复张量-矩阵乘法与Gram-Schmidt正交化生成标准正交向量，提取与张量多线性秩相关的子空间。
• 引入极大Krylov递推法，将矩阵Krylov分解推广至张量，得到保持结构特性的张量Krylov分解。
• 提出收缩张量积Krylov递推法，作为将Lanczos方法应用于张量收缩形成的对称矩阵的推广。
• 实现极小Krylov递推法的优化版本，通过使用稀疏张量运算改进子空间选择过程，提升逼近精度。
• 利用张量-矩阵乘法与张量收缩迭代生成Krylov子空间，通过显式正交化保持数值稳定性。
• 将方法应用于以CANDECOMP/PARAFAC格式表示的稀疏与稠密张量，展示其在HOSVD加速与低秩逼近中的实用性。

实验结果

研究问题

• RQ1 Krylov子空间方法能否推广至张量，以实现对大规模稀疏张量的高效低秩逼近？
• RQ2 张量Krylov方法的理论收敛行为如何，特别是针对已知多线性秩张量的子空间提取？
• RQ3 不同张量Krylov变体（极小、极大与收缩积）在逼近质量与计算效率方面如何比较？
• RQ4 张量Krylov方法能否有效用作HOSVD的预处理步骤，或作为最佳低秩张量逼近问题的初始点？
• RQ5 在浮点数算术中存在哪些数值挑战（如分解失败检测与稠密基向量生成），在张量背景下如何缓解？

主要发现

• 在张量形式为X·Y·Z·C的假设下，极小Krylov递推法可在最多max{p,q,r}次迭代内提取出多线性秩为(p,q,r)的张量的正确多线性子空间。
• 极小Krylov递推法的优化变体相比标准版本提供了更优的低秩逼近，且仅使用稀疏张量运算即可提升精度。
• 极大Krylov递推法自然支持张量Krylov分解，该分解推广了矩阵Arnoldi分解，支持基于投影的计算。
• 在合成与真实稀疏张量（如Netflix数据）上的数值实验表明，该方法在大规模稀疏张量上仍具有效性与可扩展性。
• 基于张量收缩积的Lanczos方法的收缩张量积Krylov递推法，逼近质量具有竞争力，适用于对称张量结构。
• 通过初始低秩投影减小核心张量规模，该方法显著加速了HOSVD计算，展示了其在逼近之外的实际应用价值。