[论文解读] Singular Values and Eigenvalues of Tensors: A Variational Approach

Lek‐Heng Lim|ArXiv.org|Jul 26, 2006

Tensor decomposition and applications参考文献 6被引用 10

一句话总结

本文通过将用于矩阵的瑞利商方法推广，提出了一种用于定义高阶张量（阶数 ≥3）特征值与奇异值的变分框架。该研究建立了非负张量的多线性Perron-Frobenius定理的推广，证明在不可约性与非负性条件下，存在唯一正特征向量与最大特征值相关联，且通过使用 l^k-范数约束以保持尺度不变性。

ABSTRACT

We propose a theory of eigenvalues, eigenvectors, singular values, and singular vectors for tensors based on a constrained variational approach much like the Rayleigh quotient for symmetric matrix eigenvalues. These notions are particularly useful in generalizing certain areas where the spectral theory of matrices has traditionally played an important role. For illustration, we will discuss a multilinear generalization of the Perron-Frobenius theorem.

研究动机与目标

• 通过带约束的变分方法，将矩阵的谱理论推广至高阶张量。
• 为阶数 k ≥ 3 的张量定义有意义的特征值与奇异值，克服传统基于矩阵的定义的局限性。
• 为非负、不可约张量建立Perron-Frobenius定理的多线性推广。
• 通过使用 l^k-范数（而非 l^2-范数）作为约束，确保阶数为 k 的张量的特征向量与奇异向量的尺度不变性。
• 为超图分析、排序系统与张量分解等应用提供理论基础。

提出的方法

• 通过与张量 A 相关的多重线性泛函，构建张量的带约束变分问题，最大化 A(x₁,…,xₖ)，约束条件为 ||xᵢ||_p = 1（p > 1）。
• 应用拉格朗日乘数法推导临界点，得到张量的广义特征值与奇异值方程。
• 使用 l^k-范数（其中 k 为张量阶数）作为约束范数，以保持特征向量与奇异向量的尺度不变性。
• 推导出对称张量的广义特征值方程 A(I, x*,…,x*) = μ*x*^{k−1} 及一般张量的奇异值方程。
• 利用连续性与齐次性分析，研究分量函数的行为，并在非最优性假设下导出矛盾。
• 通过张量的块划分与多变量多项式函数的分量分析，证明在不可约性与非负性条件下存在正解。

实验结果

研究问题

• RQ1 如何通过变分框架将矩阵的谱理论推广至高阶张量？
• RQ2 何种范数约束可保持阶数为 k 的张量的特征向量与奇异向量的尺度不变性？
• RQ3 非负、不可约张量是否具有多线性Perron-Frobenius定理的版本？
• RQ4 在标准非负性与不可约性条件下，能否保证此类张量存在唯一的正特征向量？
• RQ5 使用 p ≠ k 的 l^p-范数定义张量特征值与奇异值会产生何种影响？

主要发现

• 对于任意非负、不可约张量，在 l^k-范数约束下，其最大特征值均对应唯一正特征向量。
• 广义特征值方程 A(I, x*,…,x*) = μ*x*^{k−1} 描述了在 l^k-范数约束下多重线性泛函的临界点。
• 使用 l^k-范数而非 l^2-范数可确保阶数为 k 的张量的特征向量与奇异向量具有尺度不变性。
• 证明依赖于反证法：若存在某些分量为零或次优的解，则可构造出更优解，从而违反下确界最小性的假设。
• 梯度系统的分量函数为非负多变量多项式，在非负输入下严格单调，从而支持反证法论证。
• 该结果将经典Perron-Frobenius定理推广至高阶张量，为超图分析与排序算法等应用提供支持。