[논문 리뷰] A Geometric Perspective on the Singular Value Decomposition

Giorgio Ottaviani, Raffaella Paoletti|arXiv (Cornell University)|2015. 03. 24.

Matrix Theory and Algorithms인용 수 6

한 줄 요약

이 논문은 실수 행렬의 특이값 분해(SVD)를 기하학적 프레임워크로 제시하고, 특히 Terracini 보조정리와 비탈리 다양체를 활용한 대수기하학을 통해 이를 텐서로 확장한다. 텐서의 특이벡터 튜플들의 선형 생성공간으로서의 특이공간을 정의하고, 유클리드 거리(ED) 차수와의 연결을 통해 다양체 위의 임계점과 그 쌍대 다양체 사이의 이중성 구조를 규명한다. 특히 세그레 다양체와 베론제 다양체에 대한 ED 차수에 대한 핵심 결과를 도출한다.

ABSTRACT

This is an introductory survey, from a geometric perspective, on the Singular Value Decomposition (SVD) for real matrices, focusing on the role of the Terracini Lemma. We extend this point of view to tensors, we define the singular space of a tensor as the space spanned by singular vector tuples and we study some of its basic properties.

연구 동기 및 목표

• 대수기하학, 특히 비탈리 다양체와 Terracini 보조정리를 활용하여 특이값 분해(SVD)의 기하학적 해석을 제공하는 것.
• 특이벡터 튜플과 텐서의 특이공간을 정의하여 SVD 프레임워크를 행렬에서 고차원 텐서로 확장하는 것.
• 텐서 다양체의 유클리드 거리(ED) 차수를 조사하고, 다양체 위의 임계점과 그 쌍대 다양체 사이의 이중성 구조를 수립하는 것.
• 클래식한 결과인 Eckart-Young 정리와 ED 차수, 비탈리 다양체와 같은 기하학적 불변량 간의 연결 고리를 설정하는 것.
• 모드별 특이값의 정렬과 직교성의 유지 조건을 만족시키는 고차원 특이값 분해(HOSVD)를 통해 SVD를 고차원 텐서로 일반화하는 것.

제안 방법

• Best low-rank 근사와 랭크-1 행렬의 비탈리 다양체 간의 연결 고리를 맺기 위해 Terracini 보조정리를 사용하여 Eckart-Young 정리를 기하학적으로 해석한다.
• 모든 특이벡터 튜플들의 선형 생성공간으로서 텐서의 특이공간을 정의하여 SVD 부분공간의 기하학적 일반화를 수행한다.
• 비탈리 다양체 개념을 활용해 랭크-1 텐서들의 선형 생성공간의 폐쇄를 모델링하고, 텐서 랭크의 기하학적 분석을 가능하게 한다.
• 일반적인 점에서 대수다양체까지의 거리 함수의 임계점 수로 정의된 유클리드 거리(ED) 차수를 도입하고, 세그레 다양체와 베론제 다양체에 대해 이를 계산한다.
• 모든 모드에서의 직교성과 모드별 특이값의 정렬을 보장하는 단위변환을 통해 HOSVD 알고리즘을 활용해 텐서를 분해한다.
• 사상 $ x \mapsto p - x $ 를 통해 다양체 위의 임계점과 그 쌍대 다양체 위의 임계점 사이의 표준적 전단사 사상이 존재함을 증명하고, $ \mathrm{ED\text{-}degree}(\mathcal{X}) = \mathrm{ED\text{-}degree}(\mathcal{X}^*) $ 를 수립한다.

실험 결과

연구 질문

• RQ1 Eckart-Young 정리는 비탈리 다양체와 Terracini 보조정리와 같은 기하학적 도구를 통해 어떻게 재해석될 수 있는가?
• RQ2 텐서의 특이공간의 기하학적 구조는 무엇이며, 이는 텐서 랭크와 대칭 경우의 고유텐서와 어떻게 관련되어 있는가?
• RQ3 랭크-1 텐서 다양체의 ED 차수는 얼마이며, 이는 쌍대 다양체(예: 초행렬식 초곡면)의 ED 차수와 어떻게 관련되어 있는가?
• RQ4 고차원 텐서로의 고차원 특이값 분해(HOSVD)는 어떻게 기존 SVD를 일반화하면서도 모드별 특이값의 정렬과 직교성을 유지하는가?
• RQ5 텐서 다양체 위에서의 거리 함수 임계점과 그 쌍대 다양체 위의 임계점 사이의 관계는 무엇인가?

주요 결과

• 랭크가 $ r $ 이하인 행렬의 다양체 $ \mathcal{M}_r $ 의 ED 차수는 정리 2.9에 의해 $ \binom{\min\{m,n\}}{r} $ 이다.
• 직교군 $ O(n) $ 의 ED 차수는 정리 2.12에 의해 $ 2^n $ 이다.
• 세그레 다양체 $ \mathbb{P}^{n_1} \times \cdots \times \mathbb{P}^{n_d} $ 의 ED 차수는 정리 5.1에 의해 계산되며, Cartwright-Sturmfels 공식을 통해 유도된다.
• 베론제 다양체 $ v_d(\mathbb{P}^n) $ 의 ED 차수는 정리 5.2에 의해 Cartwright-Sturmfels 공식을 통해 계산된다.
• 일반적인 점 $ p $ 에서 랭크-1 텐서 다양체와 그 쌍대 다양체(초행렬식 초곡면)까지의 거리 함수의 임계점 사이에 표준적 전단사 관계가 존재하며, 이 관계는 $ x \mapsto p - x $ 로 주어진다. 이는 정리 5.10에 의해 증명된다.
• 일반적인 텐서 $ A \in \mathbb{C}^{n_1+1} \otimes \cdots \otimes \mathbb{C}^{n_d+1} $ 에 대해 특이벡터 $ d $-튜플의 수는 $ NM - \sum_{i=1}^{d-1} \binom{n_i+1}{2} - \binom{N+1}{2} $ 이다. 여기서 $ N = \prod_{i=1}^{d-1} (n_i+1) $ 이며, 이는 정리 5.9(i)에 의해 도출된다.