[논문 리뷰] Complex tensors almost always have best low-rank approximations

Qi Yang, Mateusz Michałek외 1명|arXiv (Cornell University)|2017. 12. 06.

Tensor decomposition and applications참고 문헌 17인용 수 2

한 줄 요약

이 논문은 복소수 위에서 낮은 질량의 텐서 근사가 거의 항상 유일한 최적 근사를 갖는다는 것을 증명한다. 이는 실수 텐서가 이러한 근사를 갖지 못할 수 있는 오랜 동안의 문제를 해결한다. 복소해석기하학을 통해, 임의의 닫힌 기약 복소해석기하다양체에 대해, 배경 공간의 일반적인 점은 임의의 낮은 차원의 부분다양체 외부에 대해 항상 유일한 최적 근사를 갖는다는 것을 보이며, 이는 질량-$r$ 근사, 블록-텀, 희소+낮은 질량 분해에 대한 유일성 결과를 거의 전역적으로 이끌어낸다.

ABSTRACT

Low-rank tensor approximations are plagued by a well-known problem - a tensor may fail to have a best rank-$r$ approximation. Over $\mathbb{R}$, it is known that such failures can occur with positive probability, sometimes with certainty. We will show that while such failures still occur over $\mathbb{C}$, they happen with zero probability. In fact we establish a more general result with useful implications on recent scientific and engineering applications that rely on sparse and/or low-rank approximations: Let $V$ be a complex vector space with a Hermitian inner product, and $X$ be a closed irreducible complex analytic variety in $V$. Given any complex analytic subvariety $Z \subseteq X$ with $\dim Z < \dim X$, we prove that a general $p \in V$ has a unique best $X$-approximation $\pi_X (p)$ that does not lie in $Z$. In particular, it implies that over $\mathbb{C}$, any tensor almost always has a unique best rank-$r$ approximation when $r$ is less than the generic rank. Our result covers many other notions of tensor rank: symmetric rank, alternating rank, Chow rank, Segre-Veronese rank, Segre-Grassmann rank, Segre-Chow rank, Veronese-Grassmann rank, Veronese-Chow rank, Segre-Veronese-Grassmann rank, Segre-Veronese-Chow rank, and more - in all cases, a unique best rank-$r$ approximation almost always exist. It applies also to block-terms approximations of tensors: for any $r$, a general tensor has a unique best $r$-block-terms approximations. When applied to sparse-plus-low-rank approximations, we obtain that for any given $r$ and $k$, a general matrix has a unique best approximation by a sum of a rank-$r$ matrix and a $k$-sparse matrix with a fixed sparsity pattern; this arises in, for example, estimation of covariance matrices of a Gaussian hidden variable model with $k$ observed variables conditionally independent given $r$ hidden variables.

연구 동기 및 목표

• 실수 텐서 분해에서 최적의 낮은 질량 근사가 존재하지 않는 문제를 복소수 케이스를 연구함으로써 해결하기 위해.
• 복소수 위에서 다양한 텐서 질량 개념에 대해 최적 근사가 존재하고 유일한 조건을 설정하기 위해.
• 표준 질량을 초월하여 대칭, 교환, 초등, 세그레-베로네제, 블록-텀 질량 등 다양한 텐서 질량 개념에 대해 최적 근사의 존재성과 유일성을 일반화하기 위해.
• 통계 모델링에서의 희소+낮은 질량 행렬 근사와 같은 실용적 문제에 결과를 적용하기 위해.
• 고정된 희소성 패턴에 대해 일반적인 행렬이 낮은 질량 행렬과 희소 행렬의 합으로서의 유일한 최적 근사를 갖는다는 것을 보여주기 위해.

제안 방법

• 논문은 복소벡터 공간에 있는 헤르미트 내적을 갖는 닫힘 기약 복소해석기하다양체에 초점을 맞춘 복소해석기하학을 사용한다.
• 임의의 이러한 다양체 $X$ 와 $\dim Z < \dim X$ 를 만족하는 $X$ 의 진부분다양체 $Z \subset X$ 에 대해, 공간 $V$ 의 일반적인 점 $p \in V$ 는 $Z$ 에 속하지 않는 유일한 최적 $X$-근사를 갖는다는 것을 증명한다.
• 핵심 기법은 비유일성 또는 존재하지 않는 최적 근사를 갖는 점들의 집합이 진부분해석다양체에 속해 있음을 보여주어, 이는 측도가 0임을 의미한다.
• 다양한 텐서 질량 유형에 대해 이 방법을 적용하기 위해, 세그레, 초등, 또는 베로네제 다양체와 같은 특정 복소해석기하다양체로 간주한다.
• 복소기하학에서 일반적인 점들이 낮은 차원의 부분다양체를 피한다는 사실을 활용하여, 최적 근사의 거의 확실한 유일성을 보장한다.
• 이 틀은 블록-텀과 희소+낮은 질량 모델로 확장되며, 해집합을 복소해석기하다양체로 모델링하고 일반 정리를 적용한다.

실험 결과

연구 질문

• RQ1 복소 텐서에 대해 최적의 낮은 질량 근사가 항상 존재하는가? 만약 그렇지 않다면, 얼마나 자주 존재하지 않을까?
• RQ2 대칭, 교환, 초등 등 다양한 텐서 질량 개념에서 $\mathbb{C}$ 위에서 유일한 최적 근사가 거의 항상 존재하는가?
• RQ3 블록-텀과 희소+낮은 질량 분해에 대해, 복소수 환경에서 최적 근사의 존재성과 유일성이 보장될 수 있는가?
• RQ4 복소 텐서 근사에서 비유일성 또는 존재하지 않는 최적 근사의 측도론적 가능성은 어떠한가?
• RQ5 텐서 질량 다양체의 복소해석기하학적 구조는 근사 알고리즘의 일반적 행동에 어떻게 影향을 미치는가?

주요 결과

• 복소수 위에서, 최적의 질량-$r$ 근사를 갖지 못하는 텐서의 집합은 측도가 0이므로, 이러한 실패는 확률이 0이다.
• 일반적인 텐서는 $\mathbb{C}$ 위에서 임의의 $r$ 가 일반 질량보다 작을 때, 유일한 최적의 질량-$r$ 근사를 갖는다.
• 이 결과는 대칭 질량, 교환 질량, 초등 질량, 세그레-베로네제 질량, 기타 텐서 질량 개념으로까지 확장되며, 이 모든 경우에 복소수 위에서 거의 전역적으로 최적 근사가 유일하다.
• 어떤 순서 $r$ 에 대해서든, 블록-텀 근사는 복소수 환경에서 거의 모든 텐서에 대해 유일한 최적 근사를 갖는다.
• 고정된 희소성 패턴을 갖는 희소+낮은 질량 근사에 대해, 일반적인 행렬은 질량-$r$ 행렬과 $k$-희소 행렬의 합으로서의 유일한 최적 근사를 갖는다.
• 이 틀은 가우시안 은닉변수 모델에서 공분산 행렬 추정에 적용되며, 유일한 최적 근사가 통계적 일관성과 알고리즘 안정성을 보장한다.