[논문 리뷰] Approximation Theory of Tree Tensor Networks: Tensorized Univariate Functions -- Part I

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|2020. 06. 30.

Tensor decomposition and applications참고 문헌 31인용 수 7

한 줄 요약

이 논문은 텐서화를 통해 구축된 텐서 네트워크를 사용한 단변수 함수에 대한 새로운 근사 프레임워크를 제안하며, $L^p$ 함수가 텐서 곱 공간으로 표현될 수 있음을 보여준다. 랭크 구조를 가진 텐서 형식에 기반한 근사 클래스를 정의하여, 이들이 쿼asi-노름 선형 공간을 이룬다는 것을 보이고, 특히 네트워크 깊이가 증가할수록 기존의 매끄러움 공간에 비해 훨씬 높은 표현 능력을 가짐을 입증한다.

ABSTRACT

We study the approximation of functions by tensor networks (TNs). We show that Lebesgue $L^p$-spaces in one dimension can be identified with tensor product spaces of arbitrary order through tensorization. We use this tensor product structure to define subsets of $L^p$ of rank-structured functions of finite representation complexity. These subsets are then used to define different approximation classes of tensor networks, associated with different measures of complexity. These approximation classes are shown to be quasi-normed linear spaces. We study some elementary properties and relationships of said spaces. In part II of this work, we will show that classical smoothness (Besov) spaces are continuously embedded into these approximation classes. We will also show that functions in these approximation classes do not possess any Besov smoothness, unless one restricts the depth of the tensor networks. The results of this work are both an analysis of the approximation spaces of TNs and a study of the expressivity of a particular type of neural networks (NN) -- namely feed-forward sum-product networks with sparse architecture. The input variables of this network result from the tensorization step, interpreted as a particular featuring step which can also be implemented with a neural network with a specific architecture. We point out interesting parallels to recent results on the expressivity of rectified linear unit (ReLU) networks -- currently one of the most popular type of NNs.

연구 동기 및 목표

• 트리 텐서 네트워크를 사용한 단변수 함수 근사의 이론적 기반을 구축하기 위해.
• 랭크 구조를 가진 텐서 형식에 기반한 근사 클래스와 그 복잡도 측정 방법을 정의하기 위해.
• 이러한 근사 클래스가 쿼asi-노름 선형 공간으로서 가지는 성질을 분석하기 위해.
• 제2부에서 베소프 및 소볼레프 공간과의 연결 고리를 설정하기 위한 기초를 마련하기 위해.
• 텐서 네트워크와 특정한 희박한 아키텍처를 가진 피드포워드 신경망 간의 연결 고리를 부각하기 위해.

제안 방법

• 기저-$b$ 전개를 사용하여 단변수 함수를 다변수 함수로 텐서화하여 텐서 곱의 구조를 가능하게 하기 위해.
• 텐서화에 의해 유도된 특징 공간에서 함수를 랭크 구조를 가진 텐서로 표현하기 위해.
• 텐서 네트워크 형식에서 표현 복잡도가 유한한 $L^p$의 부분집합으로서 근사 클래스를 정의하기 위해.
• 텐서 곱의 구조를 이용하여 근사 클래스 위에 쿼asi-노름을 정의하기 위해.
• 텐서화 단계를 삼층 피드포워드 신경망으로 인코딩하며, 지시자 함수와 거듭제곱 활성화 함수를 사용하기 위해.
• 유도된 근사 도구를 합- tích 네트워크 및 희박한 신경망 아키텍처와 연결하기 위해.

실험 결과

연구 질문

• RQ1 단변수 $L^p$ 함수는 텐서화를 통해 어떻게 체계적으로 텐서 곱의 구조를 가진 다변수 함수로 표현될 수 있는가?
• RQ2 랭크 구조를 가진 텐서 네트워크에 의해 정의된 근사 클래스의 구조적 및 분석적 성질은 무엇인가?
• RQ3 이러한 근사 클래스는 베소프 및 소볼레프 공간과 같은 전통적인 매끄러움 공간과 어떻게 관련이 있는가?
• RQ4 네트워크 깊이가 텐서 네트워크 근사의 표현 능력에 미치는 역할은 무엇인가?
• RQ5 텐서화 기반의 특징 추출 단계는 전통적인 스퍼인 기반 특징에 비해 근사 능력에서 어떻게 비교되는가?

주요 결과

• 텐서화에 의해 유도된 텐서 곱의 구조 덕분에 $L^p$ 함수는 임의의 차수의 텐서 곱 공간으로 식별될 수 있다.
• 유한 랭크 텐서 네트워크에 기반한 근사 클래스는 적절한 복잡도 측정 방법 하에서 쿼asi-노름 선형 공간을 이룬다.
• 이러한 근사 클래스는 텐서 네트워크의 깊이가 제한되지 않은 한 기존의 전통적 베소프 공간보다 엄격히 더 크다.
• 텐서화 단계는 특정한 활성화 함수를 가진 삼층 피드포워드 신경망을 통해 구현될 수 있으며, 이는 텐서 네트워크와 신경망 아키텍처 간의 연결 고리를 제공한다.
• 제안된 프레임워크는 텐서 네트워크의 깊이 $d$를 증가시킴으로써, 낮은 차수의 다항식 특징($m=0$) 조차도 광범위한 매끄러움 공간에 대해 거의 최적의 근사 속도를 달성한다.
• 이 방법은 고정된 $m$일 때, 텐서화된 표현에서 저랭크 구조를 활용하는 것이 높은 근사 정확도를 달성하는 데 필수적임을 드러낸다.