[论文解读] Best subspace tensor approximations

Shmuel Friedland, Volker Mehrmann|ArXiv.org|May 27, 2008

Tensor decomposition and applications参考文献 8被引用 8

一句话总结

本文提出了一种新型的低秩张量近似方法——最优子空间张量近似（Best Subspace Tensor Approximation, BSTA），该方法将奇异值分解（SVD）推广至高阶张量。与传统的张量秩近似不同，BSTA通过子空间投影保证了最小化解的存在性，并采用基于SVD的算法进行计算，为Tucker分解和基于秩的张量分解提供了一种理论坚实且具有可证明收敛性的替代方法。

ABSTRACT

In many applications such as data compression, imaging or genomic data analysis, it is important to approximate a given tensor by a tensor that is sparsely representable. For matrices, i.e. 2-tensors, such a representation can be obtained via the singular value decomposition which allows to compute the best rank $k$ approximations. For $t$-tensors with $t>2$ many generalizations of the singular value decomposition have been proposed to obtain low tensor rank decompositions. In this paper we will present a different approach which is based on best subspace approximations, which present an alternative generalization of the singular value decomposition to tensors.

研究动机与目标

• 为解决传统张量秩近似在 $d$-张量（$d>2$）中因秩-$k$集合非闭而引起的不稳定性与最小化解不存在的问题。
• 提出一种基于最优子空间近似的SVD张量推广方法，确保最优解的存在性。
• 为现有张量分解方法（如Tucker分解和CANDECOMP/PARAFAC分解）提供一种数值稳定且理论基础坚实的替代方案。
• 设计一种基于矩阵SVD的计算算法，实现BSTA的实际计算，尽管计算成本较高。

提出的方法

• BSTA将张量近似定义为在因子空间子空间乘积中的最佳近似，而非在秩-$k$张量集合中。
• 该方法将近似问题表述为在张量分量空间子空间上的最小二乘最小化问题，从而保证最小化解的存在性。
• 利用因子空间 $\mathbb{F}^{m_1}, \mathbb{F}^{m_2}, \mathbb{F}^{m_3}$ 上的内积诱导范数，定义近似误差。
• 通过展开和投影操作，利用张量的结构，将最优子空间近似计算为一系列矩阵SVD问题的求解。
• 为提高计算效率，论文建议使用快速SVD技术及索引子集的随机采样以降低复杂度。
• 通过将子空间选择与投影框架推广至高阶张量积，将该方法扩展至 $d$-张量。

实验结果

研究问题

• RQ1 能否构造一种张量SVD的推广方法，使得即使在秩-$k$张量集合非闭的情况下，也能保证最佳近似的存在性？
• RQ2 如何构建基于子空间的张量近似方法，以避免传统张量秩近似中固有的非闭性问题？
• RQ3 所提出的最优子空间张量近似与现有张量分解（如Tucker分解或CP分解）之间存在何种关系？
• RQ4 能否设计一种高效的数值算法，利用标准SVD程序计算最优子空间近似？
• RQ5 在准确性和稳定性方面，该方法与现有低秩张量近似技术相比表现如何？

主要发现

• 由于子空间乘积空间的闭性，最优子空间张量近似（BSTA）对任意张量和任意子空间维数均保证存在。
• BSTA为低秩张量近似提供了一种理论坚实的方法，避免了在 $k \geq 2$ 时秩-$k$近似中可能出现的最小化解不存在问题。
• 当子空间选择适当时，该方法等价于Tucker型近似，从而与已知的张量格式建立联系。
• 所提出的算法通过连续计算展开矩阵的SVD来实现BSTA，确保了数值稳定性和收敛性。
• 提出了一种基于快速SVD和索引采样的随机化变体，以降低计算成本，尽管对大规模张量而言仍较昂贵。
• 该方法可自然推广至三阶张量以外的 $d$-张量，同时保持理论保证。