[论文解读] A Geometric Perspective on the Singular Value Decomposition

Giorgio Ottaviani, Raffaella Paoletti|arXiv (Cornell University)|Mar 24, 2015

Matrix Theory and Algorithms被引用 6

一句话总结

本文提出了一种实矩阵奇异值分解（SVD）的几何框架，并通过代数几何方法将其扩展至张量，特别利用Terracini引理和可迁曲面。它将张量的奇异空间定义为奇异向量元组的张成空间，并建立了与欧氏距离（ED）次数的联系，揭示了代数曲面上临界点与其对偶曲面之间的对偶性，关键结果包括Segre与Veronese曲面的ED次数。

ABSTRACT

This is an introductory survey, from a geometric perspective, on the Singular Value Decomposition (SVD) for real matrices, focusing on the role of the Terracini Lemma. We extend this point of view to tensors, we define the singular space of a tensor as the space spanned by singular vector tuples and we study some of its basic properties.

研究动机与目标

• 通过代数几何方法，特别是可迁曲面与Terracini引理，提供奇异值分解（SVD）的几何解释。
• 通过定义奇异向量元组与张量的奇异空间，将SVD框架从矩阵推广至高阶张量。
• 研究张量曲面的欧氏距离（ED）次数，并建立曲面上临界点与其对偶曲面之间的对偶性。
• 将经典结果（如Eckart-Young定理）与几何不变量（如ED次数与可迁曲面）联系起来。
• 通过高阶SVD（HOSVD）将SVD推广至高阶张量，同时保持各模式奇异值的正交性与有序性。

提出的方法

• 利用Terracini引理从几何角度解释Eckart-Young定理，将最佳低秩逼近与秩一矩阵的可迁曲面联系起来。
• 将张量的奇异空间定义为所有奇异向量元组的线性张成，推广SVD子空间结构。
• 应用可迁曲面概念以建模秩一张量线性张成的闭包，实现对张量秩的几何分析。
• 引入欧氏距离（ED）次数作为从一般点到代数曲面的距离函数的临界点数量，并计算Segre与Veronese曲面的ED次数。
• 采用HOSVD算法通过酉变换分解张量，强制实现所有模式的正交性与奇异值的有序性。
• 通过映射 $ x \mapsto p - x $ 建立曲面上临界点与其对偶曲面之间的典范双射，证明 $ \mathrm{ED\text{-}degree}(\mathcal{X}) = \mathrm{ED\text{-}degree}(\mathcal{X}^*) $。

实验结果

研究问题

• RQ1 Eckart-Young定理能否通过可迁曲面与Terracini引理等几何工具重新解释？
• RQ2 张量奇异空间的几何结构是什么？它与张量秩及对称情形下的特征张量有何关系？
• RQ3 秩一张量曲面的ED次数是多少？它与对偶曲面（如高阶行列式超曲面）的ED次数有何关系？
• RQ4 高阶SVD（HOSVD）如何在保持各模式奇异值正交性与有序性的同时，将经典SVD推广至高阶张量？
• RQ5 张量曲面上距离函数的临界点与其对偶曲面的临界点之间存在何种关系？

主要发现

• 矩阵秩至多为 $ r $ 的曲面 $ \mathcal{M}_r $ 的ED次数为 $ \binom{\min\{m,n\}}{r} $，如定理2.9所示。
• 正交群 $ O(n) $ 的ED次数为 $ 2^n $，如定理2.12所计算。
• 对于Segre曲面 $ \mathbb{P}^{n_1} \times \cdots \times \mathbb{P}^{n_d} $，ED次数由定理5.1给出，通过Cartwright-Sturmfels公式计算。
• Veronese曲面 $ v_d(\mathbb{P}^n) $ 的ED次数通过Cartwright-Sturmfels公式在定理5.2中计算得出。
• 从点 $ p $ 到秩一张量曲面的距离函数的临界点与到对偶曲面（高阶行列式超曲面）的临界点之间存在典范双射，对应关系为 $ x \mapsto p - x $，如定理5.10所确立。
• 对于一般张量 $ A \in \mathbb{C}^{n_1+1} \otimes \cdots \otimes \mathbb{C}^{n_d+1} $，奇异向量 $ d $-元组的数量为 $ NM - \sum_{i=1}^{d-1} \binom{n_i+1}{2} - \binom{N+1}{2} $，其中 $ N = \prod_{i=1}^{d-1} (n_i+1) $，如推论5.9(i)所述。