[논문 리뷰] Fundamental Tensor Operations for Large-Scale Data Analysis in Tensor Train Formats

Namgil Lee, Andrzej Cichocki|arXiv (Cornell University)|2014. 05. 30.

Tensor decomposition and applications참고 문헌 38인용 수 25

한 줄 요약

이 논문은 텐서 트레인(TT) 형식을 위한 확장된 다중선형 텐서 연산—예를 들어 수축 곱, 부분 트레이스, 일반화된 크로네cker 곱—을 도입하여 대규모 수치 해석을 효율적으로 가능하게 한다. 이러한 연산을 사용해 TT 분해를 재구성함으로써 색인 표기법을 단순화하고, 프레임 행렬의 정규직교성을 증명하며, 국소화된 선형 사상의 명시적 표현을 유도함으로써 고차원 선형 연립방정식 및 고유값 문제에 대한 알고리즘 설계를 크게 향상시킨다.

ABSTRACT

We discuss extended definitions of linear and multilinear operations such as Kronecker, Hadamard, and contracted products, and establish links between them for tensor calculus. Then we introduce effective low-rank tensor approximation techniques including Candecomp/Parafac (CP), Tucker, and tensor train (TT) decompositions with a number of mathematical and graphical representations. We also provide a brief review of mathematical properties of the TT decomposition as a low-rank approximation technique. With the aim of breaking the curse-of-dimensionality in large-scale numerical analysis, we describe basic operations on large-scale vectors, matrices, and high-order tensors represented by TT decomposition. The proposed representations can be used for describing numerical methods based on TT decomposition for solving large-scale optimization problems such as systems of linear equations and symmetric eigenvalue problems.

연구 동기 및 목표

• 텐서 트레인(TT) 형식을 사용한 효율적인 저질서 근사화를 통해 고차원 텐서 계산에서 발생하는 차원의 극복 문제를 해결한다.
• 복잡한 색인 표기법을 대체하기 위해 좌표에 종속되지 않은 다중선형 대수적 프레임워크를 TT 분해에 도입한다.
• TT 기반 표현을 통해 대규모 선형 연립방정식 및 대칭 고유값 문제에 대한 실용적인 수치 알고리즘을 가능하게 한다.
• 기본적인 텐서 연산(예: 크로네cker 곱, 하다드 곱, 수축 곱)과 TT 분해 사이의 수학적 연결 고리를 확립한다.
• 교대 선형 방법(Als)에 필수적인 국소화된 선형 사상 및 프레임 행렬의 명시적이고 계산 가능하도록 구현된 표현을 제공한다.

제안 방법

• 블록 텐서를 위한 일반화된 텐서 연산—예를 들어 부분 수축 곱, 부분 트레이스, 부분 크로네cker 곱—을 도입한다.
• 핵심 텐서를 사용한 매트리시제이션된 TT-핵심을 통해 고차원 텐서의 저차원 표현을 가능하게 하는 텐서 트레인 분해를 정의한다.
• 블록 행렬 $\widetilde{\mathbf{X}}^{(n)}$ 를 사용해 벡터화된 TT 분해를 통한 대규모 벡터 및 행렬을 표현한다.
• 모든 TT-핵심 중 $n$-번째를 제외한 $\mathbf{X}^{\neq n}$ 를 사용해 TT 기반 행렬 곱셈을 통해 행렬-벡터 및 이차형식 연산을 유도한다.
• 수축 곱과 모드-1 곱셈을 사용해 $\mathbf{y} = \mathbf{X}^{\neq n} \mathbf{y}^{(n)}$ 와 같은 연산을 표현함으로써 효율적인 계산을 가능하게 한다.
• 좌표에 종속되지 않은 대수적 방법을 사용해 텐서 연산을 통해 ALS에서 사용되는 프레임 행렬의 정규직교성을 증명하며, 이는 이전의 색인 기반 증명을 대체한다.

실험 결과

연구 질문

• RQ1 기본적인 텐서 연산을 어떻게 일반화하여 텐서 트레인 형식에서 효율적인 계산을 지원할 수 있는가?
• RQ2 수축 및 크로네cker 곱과 같은 다중선형 연산을 사용해 TT 기반 수치 알고리즘을 단순화하고 통합할 수 있는가?
• RQ3 교대 선형 방법에서 사용되는 프레임 행렬의 정규직교성을 색인 표기법 대신 텐서 연산을 통해 어떻게 증명할 수 있는가?
• RQ4 TT 형식에서 국소화된 선형 사상 $\widetilde{\underline{\mathbf{A}}}_n$ 및 $\overline{\underline{\mathbf{A}}}_n$ 의 명시적 표현은 무엇인가?
• RQ5 제안된 텐서 연산은 어떻게 대규모 선형 연립방정식 및 고유값 문제의 효율적 해법을 가능하게 하는가?

주요 결과

• 특히 수축 곱과 부분 트레이스를 포함한 제안된 텐서 연산은 TT 분해의 좌표에 종속되지 않은 표현을 가능하게 하여 복잡한 색인 표기법을 단순화한다.
• 제안된 다중선형 대수적 프레임워크를 사용해 ALS에서 사용되는 프레임 행렬의 정규직교성이 엄밀하게 증명된다.
• TT 기반 행렬 곱셈과 수축을 통해 국소화된 선형 사상 $\widetilde{\underline{\mathbf{A}}}_n$ 및 $\overline{\underline{\mathbf{A}}}_n$ 의 명시적 표현이 도출된다.
• $\mathbf{X}^{\neq n}$ 를 사용한 TT 분해를 통해 대규모 벡터 및 행렬의 행렬-벡터 곱과 이차형식 연산이 효율적으로 계산되며, 계산 비용이 감소한다.
• 이차형식 $\mathbf{x}^{(n)\top} \overline{\mathbf{A}}_n \mathbf{x}^{(n)}$ 의 텐서 네트워크 다이어그램이 시각화되어 TT 코어와 코어 텐서 간의 연결을 보여준다.
• 이 프레임워크는 고차원 문제에 대한 TT 기반 해법에서 알고리즘의 안정성과 랭크 적응성을 가능하게 하며, 향후 수렴 분석에 대한 잠재적 응용이 있다.