[论文解读] Fundamental Tensor Operations for Large-Scale Data Analysis in Tensor Train Formats

Namgil Lee, Andrzej Cichocki|arXiv (Cornell University)|May 30, 2014

Tensor decomposition and applications参考文献 38被引用 25

一句话总结

本文引入了扩展的多线性张量运算——如缩并积、部分迹和广义克罗内克积——用于张量列车（TT）格式，实现了大规模数值分析的高效处理。通过使用这些运算重新表述TT分解，作者简化了指标记号，证明了框架矩阵的正交性，并推导出局部线性映射的显式表示，显著提升了高维方程系统与特征值问题的算法设计效率。

ABSTRACT

We discuss extended definitions of linear and multilinear operations such as Kronecker, Hadamard, and contracted products, and establish links between them for tensor calculus. Then we introduce effective low-rank tensor approximation techniques including Candecomp/Parafac (CP), Tucker, and tensor train (TT) decompositions with a number of mathematical and graphical representations. We also provide a brief review of mathematical properties of the TT decomposition as a low-rank approximation technique. With the aim of breaking the curse-of-dimensionality in large-scale numerical analysis, we describe basic operations on large-scale vectors, matrices, and high-order tensors represented by TT decomposition. The proposed representations can be used for describing numerical methods based on TT decomposition for solving large-scale optimization problems such as systems of linear equations and symmetric eigenvalue problems.

研究动机与目标

• 通过使用张量列车（TT）格式实现高效的低秩逼近，解决高阶张量计算中的维度灾难问题。
• 建立一种无坐标、多线性代数的TT分解框架，以替代复杂的指标记号。
• 通过基于TT的表示，实现大规模线性方程组和对称特征值问题的实用数值算法。
• 建立基本张量运算（如克罗内克积、哈达玛积、缩并积）与TT分解之间的数学联系。
• 提供用于交替线性方案（ALS）的关键局部线性映射和框架矩阵的显式、可计算的表示。

提出的方法

• 为块张量引入广义张量运算，如部分缩并积、部分迹和部分克罗内克积。
• 通过矩阵化TT核心的核张量定义张量列车分解，实现高阶张量的低参数表示。
• 通过块矩阵 $\widetilde{\mathbf{X}}^{(n)}$ 的向量化TT分解表示大规模向量和矩阵。
• 利用 $\mathbf{X}^{\neq n}$（即除第 $n$ 个外的所有TT核心的乘积）基于TT的矩阵乘法，推导矩阵-向量和二次型运算。
• 使用缩并积和模式-1乘法表达 $\mathbf{y} = \mathbf{X}^{\neq n} \mathbf{y}^{(n)}$ 等运算，实现高效计算。
• 利用张量运算证明框架矩阵的正交性，以无坐标代数替代先前基于指标的证明。

实验结果

研究问题

• RQ1 如何将基本张量运算推广至张量列车格式，以支持高效计算？
• RQ2 能否利用如缩并积和克罗内克积等多线性运算来简化并统一基于TT的数值算法？
• RQ3 如何利用张量运算而非指标记号，证明交替线性方案（ALS）中框架矩阵的正交性？
• RQ4 在TT格式中，局部线性映射 $\widetilde{\underline{\mathbf{A}}}_n$ 和 $\overline{\underline{\mathbf{A}}}_n$ 的显式表示是什么？
• RQ5 所提出的张量运算如何实现大规模线性方程组和特征值问题的高效求解？

主要发现

• 所提出的张量运算，尤其是缩并积和部分迹，实现了TT分解的无坐标表示，简化了复杂的指标记号。
• 基于所提出的多线性代数框架，严格证明了交替线性方案（ALS）中使用的框架矩阵的正交性。
• 通过基于TT的矩阵乘法和收缩运算，推导出局部线性映射 $\widetilde{\underline{\mathbf{A}}}_n$ 和 $\overline{\underline{\mathbf{A}}}_n$ 的显式表示。
• 利用 $\mathbf{X}^{\neq n}$ 的TT分解，高效计算大规模向量和矩阵上的矩阵-向量及二次型运算，显著降低计算成本。
• 可视化了二次型 $\mathbf{x}^{(n)\top} \overline{\mathbf{A}}_n \mathbf{x}^{(n)}$ 的张量网络图，展示了TT核心与核心张量之间的连接关系。
• 该框架使基于TT的求解器在高维问题中具备算法稳定性和秩自适应能力，未来具备收敛性分析的潜力。