[논문 리뷰] Tensor network ranks

Ke Ye, Lek‐Heng Lim|arXiv (Cornell University)|2018. 01. 08.

Tensor decomposition and applications참고 문헌 30인용 수 22

한 줄 요약

이 논문은 무방향 그래프를 기반으로 한 일반화된 텐서 랭크 개념인 G-랭크를 제안하며, 기존의 텐서 랭크나 다중선형 랭크와 같은 전통적 랭크를 확장한다. 특정 그래프 G에 대해 함수, 행렬 또는 텐서가 높은 전통적 랭크를 가질 수 있지만 G-랭크는 낮을 수 있음을 보여주며, 이는 텐서 네트워크(예: 텐서 트레인, PEPS)가 저 G-랭크 구조의 특수한 경우임을 밝혀내며, 근사화 및 차원 축소 과정에서 상당한 계산적 이점을 제공한다.

ABSTRACT

In problems involving approximation, completion, denoising, dimension reduction, estimation, interpolation, modeling, order reduction, regression, etc, we argue that the near-universal practice of assuming that a function, matrix, or tensor (which we will see are all the same object in this context) has \emph{low rank} may be ill-justified. There are many natural instances where the object in question has high rank with respect to the classical notions of rank: matrix rank, tensor rank, multilinear rank --- the latter two being the most straightforward generalizations of the former. To remedy this, we show that one may vastly expand these classical notions of ranks: Given any undirected graph $G$, there is a notion of $G$-rank associated with $G$, which provides us with as many different kinds of ranks as there are undirected graphs. In particular, the popular tensor network states in physics (e.g., extsc{mps}, extsc{ttns}, extsc{peps}) may be regarded as functions of a specific $G$-rank for various choices of $G$. Among other things, we will see that a function, matrix, or tensor may have very high matrix, tensor, or multilinear rank and yet very low $G$-rank for some $G$. In fact the difference is in the orders of magnitudes and the gaps between $G$-ranks and these classical ranks are arbitrarily large for some important objects in computer science, mathematics, and physics. Furthermore, we show that there is a $G$ such that almost every tensor has $G$-rank exponentially lower than its rank or the dimension of its ambient space.

연구 동기 및 목표

• 물리학 및 응용수학 분야에서 텐서 네트워크의 엄밀한 수학적 기반 부족 문제를 해결하기 위해.
• 함수나 텐서가 낮은 전통적 랭크(예: 행렬 랭크, 텐서 랭크, 다중선형 랭크)를 가진다는 일반적인 가정이 자주 정당화되지 않은 점을 도전하기 위해.
• 그래프 기반 랭크(G-랭크)를 사용한 텐서 네트워크 근사화를 위한 통합 프레임워크를 제안하여, 전통적 랭크 개념을 일반화하기 위해.
• 중요한 텐서 클래스에 대해 G-랭크가 전통적 랭크보다 지수적으로 작아질 수 있음을 보여주기 위해.
• G-랭크가 근사화, 완성 및 차원 축소 작업에서 전통적 랭크보다 더 유연하고 효과적인 대안이 될 수 있음을 확립하기 위해.

제안 방법

• 모든 무방향 그래프 G에 대해 G-랭크를 정의하며, 각 노드는 텐서 분해에서의 인자에 대응한다.
• 특정 그래프 G에 대해 텐서 네트워크 상태(MPS, TT, PEPS 등)를 G-랭크 분해의 구체적 사례로 구성한다.
• 외적, 합, 그리고 수축과 같은 다중선형 대수 연산을 사용하여 G-랭크 분해를 공식적으로 정의한다.
• 모든 그래프 G에 대해, 고전적 랭크는 매우 크지만 G-랭크는 매우 낮은 텐서가 존재함을 증명하여, 고전적 랭크와 G-랭크 사이의 격차를 입증한다.
• 일부 그래프 G에 대해, 거의 모든 텐서의 G-랭크가 그 임베딩 차원이나 고전적 랭크보다 지수적으로 작아질 수 있음을 보여준다.
• 대수기하학 및 텐서 분해 이론(예: 세그레 다양체, 시컨트 다양체)을 사용하여 G-랭크 집합과 고전적 랭크 집합 간의 비동등성을 증명한다.

실험 결과

연구 질문

• RQ1 고전적 텐서 랭크 개념을 일반화하여, 저랭크 근사화를 위한 더 민첩하고 정당화 가능한 프레임워크를 제공할 수 있는가?
• RQ2 자연적인 텐서 클래스에 대해 G-랭크가 고전적 텐서 랭크나 다중선형 랭크보다 얼마나 지수적으로 작아질 수 있는가?
• RQ3 텐서 네트워크 상태(MPS, PEPS 등)가 고전적 랭크가 높음에도 불구하고 실생활에서 왜 그렇게 효과적인가?
• RQ4 G-랭크가 낮은 텐서의 집합이 어떤 고전적 랭크 집합(예: 랭크 ≤ (r₁,r₂,r₃))과도 일치하지 않는 그래프 G가 존재하는가?
• RQ5 G-랭크가 현재 물리적 직관과 히وري스틱에 의존하는 텐서 네트워크에 대해 수학적으로 엄밀한 기반을 제공할 수 있는가?

주요 결과

• 일부 그래프 G에 대해, 고전적 랭크(행렬, 텐서, 다중선형 랭크)는 매우 크지만 G-랭크는 매우 낮은 텐서가 존재한다.
• 특정 그래프 G에 대해, 일반적인 텐서의 G-랭크는 그 임베딩 차원이나 고전적 랭크보다 지수적으로 작아질 수 있다.
• 다중선형 랭크 ≤ (2,2,2)인 텐서의 집합은 어떤 3노드 그래프에 대한 Y_{r₁,r₂,r₃}(G-랭크 집합)과도 일치하지 않으며, 이는 G-랭크가 고전적 랭크와 엄격히 다른 저랭크 구조의 클래스임을 증명한다.
• 텐서 트레인(TT), 행렬 곱 상태(MPS), 투영된 얽힌 쌍 상태(PEPS)와 같은 텐서 네트워크 상태들은 특정 그래프 G에 대해 저 G-랭크 함수의 특수한 경우이다.
• 2×2 행렬 곱셈의 구조 텐서는 다중선형 랭크가 (2,4,2)이지만, 경계 랭크는 7이므로, 고전적 랭크 측정법이 최적에서 멀리 떨어져 있을 수 있음을 보여준다.
• 일부 매개변수 s₁,s₂,s₃가 존재하여, 다중선형 랭크 ≤ (s₁,s₂,s₃)인 텐서의 집합이 어떤 그래프 G에 대해서도 G-랭크 집합과 일치하지 않으며, 이는 G-랭크가 독특한 저랭크 구조를 포착함을 증명한다.