[논문 리뷰] Approximation Theory of Tree Tensor Networks: Tensorized Univariate Functions -- Part II

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|2020. 06. 30.

Tensor decomposition and applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 복잡도가 통제된 트리 텐서 네트워크(TT)가 베소프 및 솔레브 공간과 같은 고전적 스무쓰니스 클래스의 함수를 최적 또는 근사 최적 수렴 속도로 근사할 수 있음을 입증한다. 고전적 근사 도구(예: 스플라인, 다항식)를 텐서 네트워크로 표현함으로써 저자들은 직접적(Jackson 유형) 부등식을 유도하고, 깊은 TT가 해석 함수에 대해 지수 수렴을 달성함을 보이며, 희소 연결성은 자유 힌트 스플라인과 유사한 적응형 근사성을 가능하게 한다.

ABSTRACT

We study the approximation by tensor networks (TNs) of functions from classical smoothness classes. The considered approximation tool combines a tensorization of functions in $L^p([0,1))$, which allows to identify a univariate function with a multivariate function (or tensor), and the use of tree tensor networks (the tensor train format) for exploiting low-rank structures of multivariate functions. The resulting tool can be interpreted as a feed-forward neural network, with first layers implementing the tensorization, interpreted as a particular featuring step, followed by a sum-product network with sparse architecture. In part I of this work, we presented several approximation classes associated with different measures of complexity of tensor networks and studied their properties. In this work (part II), we show how classical approximation tools, such as polynomials or splines (with fixed or free knots), can be encoded as a tensor network with controlled complexity. We use this to derive direct (Jackson) inequalities for the approximation spaces of tensor networks. This is then utilized to show that Besov spaces are continuously embedded into these approximation spaces. In other words, we show that arbitrary Besov functions can be approximated with optimal or near to optimal rate. We also show that an arbitrary function in the approximation class possesses no Besov smoothness, unless one limits the depth of the tensor network.

연구 동기 및 목표

• 텐서 네트워크 근사 공간과 고전적 함수 공간, 예를 들어 베소프 및 솔레브 공간 사이의 관계를 규명하는 것.
• 깊이가 제한되지 않은 한, 텐서 네트워크 근사 클래스에 속하는 임의의 함수는 베소프 스무쓰니스를 갖지 못함을 보여주며, 깊은 네트워크의 표현 능력을 강조하는 것.
• 고전적 근사 도구—다항식, 스플라인(고정 및 자유 힌트), 다중 해상도 분석—이 복잡도가 통제된 방식으로 텐서 네트워크로 표현될 수 있음을 보여주는 것.
• 텐서 네트워크 근사에 대해 직접적(Jackson) 부등식을 도출하여, 베소프 및 솔레브 공간에 속한 함수의 최적 또는 근사 최적 수렴 속도를 증명하는 것.
• 깊이와 희소성의 역할이 p- 및 h-적응형 방법(예: 고차 다항식 및 자유 힌트 스플라인)과 유사한 근사 속도를 달성하는 데 어떻게 기여하는지 조사하는 것.

제안 방법

• 일변수 함수를 [0,1)에서 정의된 함수로 매핑하기 위해 b-adic 텐서화를 사용하여 다변수 텐서를 텐서 공간 Vb,d에 포함시키며, 등거리 임bedding을 통해 Lp 노름을 유지한다.
• 텐서 공간 내에서 트리 텐서 네트워크(TT 형식)를 사용하여 함수를 표현하며, 캐논컬 텐서 질량 대신 다중선형 질량(β-질량)을 사용하여 계층적 저질량 구조를 구현한다.
• 낮은 질량 분해와 유한한 질량 및 수준을 갖는 텐서 분해를 통해 고전적 근사 도구(다항식, 스플라인, MRA)를 텐서 네트워크로 표현한다.
• 텐서 네트워크 복잡도(파rameter 수, 깊이, 질량)에 따라 근사 오차를 제한함으로써 직접 추정치(Jackson 부등식)를 도출한다.
• 깊이 제한 조건 하에서만 역추정치를 확립하기 위해 제한된 근사 클래스 ΦB_n을 정의하며, 이는 질량과 깊이가 유한한 조건에서 스무쓰니스 성질이 유지됨을 보장한다.
• 깊이와 희소성의 상호작용을 분석한다: 깊은 네트워크는 p-적응형 근사(예: 고차 다항식)를 재현하고, 희소 네트워크는 h-적응형 근사(예: 자유 힌트 스플라인)를 재현하며, 이들의 조합은 hp-적응형 근사 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 다항식 및 스플라인과 같은 고전적 근사 도구가 복잡도가 통제된 방식으로 텐서 네트워크로 표현될 수 있는가?
• RQ2 베소프 및 솔레브 공간에 속한 함수에 대해 텐서 네트워크의 근사 속도는 무엇이며, 이는 최적이거나 근사 최적인가?
• RQ3 왜 텐서 네트워크 근사 클래스에 속한 임의의 함수는 깊이가 제한되지 않은 한 베소프 스무쓰니스를 갖지 못하는가?
• RQ4 텐서 네트워크의 깊이와 희소성은 고전적 방법의 p-적응형 및 h-적응형 근사와 어떻게 관련이 있는가?
• RQ5 텐서 네트워크 근사 공간에 대해 역추정치(Bernstein 유형)가 성립하는 조건은 무엇인가?

주요 결과

• 베소프 공간 Bαδτ,τ는 텐서 네트워크 근사 공간에 연속적으로 포함되며, 이는 모든 베소프 함수에 대해 최적 또는 근사 최적의 근사 속도를 의미한다.
• 깊이가 제한되지 않은 한, 텐서 네트워크 근사 클래스에 속한 임의의 함수는 베소프 스무쓰니스를 갖지 않으며, 이는 깊은 네트워크의 높은 표현 능력을 보여준다.
• 텐서 네트워크는 해석 함수에 대해 지수 수렴 속도를 달성할 수 있으며, 이는 고전적 방법의 최고 수준의 속도와 일치한다.
• r ≤ m+1 인 솔레브 공간 W r,p 에 대해, 네트워크 깊이가 제한될 경우 텐서 네트워크의 근사 속도는 고전적 결과와 일치하며, 이러한 제약 조건 하에서 역추정치가 성립한다.
• 깊이와 질량 rB 가 유한한 제한된 클래스 ΦB_n 은 역추정치를 허용하며, 이는 rB 와 cB 에 따라 결정되며, 솔레브 공간에 연속적 포함을 보장한다.
• 희소성과 깊이를 동시에 갖춘 텐서 네트워크는 hp-적응형 근사를 재현할 수 있으며, 깊이로는 p-정밀도 향상(고차 다항식), 희소성으로는 h-정밀도 향상(자유 힌트 스플라인)이 가능하다.