[论文解读] Complex tensors almost always have best low-rank approximations

Qi Yang, Mateusz Michałek+1 more|arXiv (Cornell University)|Dec 6, 2017

Tensor decomposition and applications参考文献 17被引用 2

一句话总结

本文证明了在复数域上，低秩张量逼近几乎总是具有唯一最优逼近，解决了实张量可能不存在此类逼近的长期难题。通过复解析几何，证明了对于任意闭的不可约复解析簇，其所在空间中的一般点在任意低维子簇之外具有唯一最优逼近，从而推出在几乎处处成立的意义下，秩-$r$ 逼近、块项分解以及稀疏加低秩分解均具有唯一性。

ABSTRACT

Low-rank tensor approximations are plagued by a well-known problem - a tensor may fail to have a best rank-$r$ approximation. Over $\mathbb{R}$, it is known that such failures can occur with positive probability, sometimes with certainty. We will show that while such failures still occur over $\mathbb{C}$, they happen with zero probability. In fact we establish a more general result with useful implications on recent scientific and engineering applications that rely on sparse and/or low-rank approximations: Let $V$ be a complex vector space with a Hermitian inner product, and $X$ be a closed irreducible complex analytic variety in $V$. Given any complex analytic subvariety $Z \subseteq X$ with $\dim Z < \dim X$, we prove that a general $p \in V$ has a unique best $X$-approximation $\pi_X (p)$ that does not lie in $Z$. In particular, it implies that over $\mathbb{C}$, any tensor almost always has a unique best rank-$r$ approximation when $r$ is less than the generic rank. Our result covers many other notions of tensor rank: symmetric rank, alternating rank, Chow rank, Segre-Veronese rank, Segre-Grassmann rank, Segre-Chow rank, Veronese-Grassmann rank, Veronese-Chow rank, Segre-Veronese-Grassmann rank, Segre-Veronese-Chow rank, and more - in all cases, a unique best rank-$r$ approximation almost always exist. It applies also to block-terms approximations of tensors: for any $r$, a general tensor has a unique best $r$-block-terms approximations. When applied to sparse-plus-low-rank approximations, we obtain that for any given $r$ and $k$, a general matrix has a unique best approximation by a sum of a rank-$r$ matrix and a $k$-sparse matrix with a fixed sparsity pattern; this arises in, for example, estimation of covariance matrices of a Gaussian hidden variable model with $k$ observed variables conditionally independent given $r$ hidden variables.

研究动机与目标

• 为解决实张量分解中最佳低秩逼近不存在的长期问题，通过研究复数情形。
• 建立在复数域上，针对各种张量秩概念，最佳逼近存在且唯一的条件。
• 将最佳逼近的存在性与唯一性结果从标准秩推广至对称秩、交错秩、Chow 秩、Segre-Veronese 秩以及块项秩等。
• 将结果应用于实际问题，如统计建模中的稀疏加低秩矩阵逼近。
• 证明对于任意固定的稀疏模式，一般矩阵在作为低秩矩阵与稀疏矩阵之和的意义下，具有唯一最优逼近。

提出的方法

• 本文使用复解析几何，聚焦于具有赫米特内积的复向量空间中的闭不可约复解析簇。
• 证明对于任意此类簇 $X$ 及任意满足 $\dim Z < \dim X$ 的真解析子簇 $Z \subset X$，一般点 $p \in V$ 在 $X$ 中具有唯一最优逼近且不位于 $Z$ 内。
• 关键技术在于证明非唯一或不存在最优逼近的点集位于一个真解析子簇中，因此测度为零。
• 通过将各种张量秩类型（如 Segre、Chow 或 Veronese 丛）视为特定的复解析簇，将该方法应用于多种张量秩类型。
• 利用复几何中一般点几乎必然避开低维子簇的性质，确保最优逼近的几乎必然唯一性。
• 通过将解集建模为复解析簇，并应用一般定理，将该框架扩展至块项和稀疏加低秩模型。

实验结果

研究问题

• RQ1 对于复张量，最佳低秩逼近是否总是存在？若否，其不存在的频率如何？
• RQ2 在 $\mathbb{C}$ 上，对哪些张量秩概念（如对称、交错、Chow 秩）几乎必然存在唯一最佳逼近？
• RQ3 在复数域中，块项逼近与稀疏加低秩分解的最佳逼近是否存在且唯一？
• RQ4 在复张量逼近中，非唯一性或非存在性的测度论可能性有多大？
• RQ5 张量秩簇的复解析结构如何影响逼近算法的典型行为？

主要发现

• 在 $\mathbb{C}$ 上，无法获得最佳秩-$r$ 逼近的张量集合测度为零，意味着此类失败事件的概率为零。
• 对于小于一般秩的任意 $r$，复数域上的一般张量具有唯一最佳秩-$r$ 逼近。
• 该结果可推广至对称秩、交错秩、Chow 秩、Segre-Veronese 秩及其他张量秩概念，所有这些均在 $\mathbb{C}$ 上几乎必然具有唯一最佳逼近。
• 任意阶数 $r$ 的块项逼近在复数域中对几乎所有张量也具有唯一最佳逼近。
• 对于具有固定稀疏模式的稀疏加低秩逼近，一般矩阵在作为秩-$r$ 矩阵与 $k$-稀疏矩阵之和的意义下，具有唯一最佳逼近。
• 该框架适用于高斯隐变量模型中的协方差矩阵估计，其中唯一最佳逼近确保了统计一致性与算法稳定性。