[논문 리뷰] Approximation Theory of Tree Tensor Networks: Tensorized Multivariate Functions

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|2021. 01. 28.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 수렴 속도가 near-optimal인 트리 텐서 네트워크(TTNs)가 등방성, 이방성, 혼합 부드러움 공간에서 다변수 함수를 근사하는 데 성공함을 보여주며, 조각다항식 및 딥 ReLU 네트워크와 동일한 성능을 달성한다. TTN 근사 클래스가 (준-)바나흐 공간임을 증명하고, 고전적 베소프 공간들을 연속적으로 포함하며, 어떤 그러한 공간에도 포함되지 않음을 입증함으로써, 이들이 보편적인 표현 능력을 지니고 있음을 보여주며, 고차원 함수 근사의 모델 클래스로 적합함을 입증한다.

ABSTRACT

We study the approximation of multivariate functions with tensor networks (TNs), providing some answers to the following two questions: ``what are the approximation capabilities of TNs for functions from classical smoothness classes?'' and ``what are the properties of the class of functions that can be approximated with TNs with a certain performance?'' As a partial answer to the former, we show that TNs can (near to) optimally replicate $h$-uniform and $h$-adaptive spline approximation, for any smoothness order of the target function. Tensor networks thus exhibit universal expressivity w.r.t. isotropic, anisotropic and mixed smoothness spaces that is comparable with more general neural networks families such as deep rectified linear unit (ReLU) networks. Put differently, TNs have the capacity to (near to) optimally approximate many function classes -- without being adapted to the particular class in question. As a partial answer to the latter, as a candidate model class we consider approximation classes of TNs and show that these are (quasi-)Banach spaces, that many types of classical smoothness spaces are continuously embedded into said approximation classes and that TNs approximation classes are themselves not embedded in any classical smoothness space. In other words, TNs can efficiently approximate functions that lie beyond classical smoothness spaces.

연구 동기 및 목표

• 다양한 부드러움 순서를 가진 다변수 함수에 대한 텐서 네트워크(TNs)의 근사 능력을 규명하는 것.
• TNs에 의해 효율적으로 근사될 수 있는 적절한 함수 모델 클래스를 규명하는 것.
• TN 근사 클래스가 (준-)바나흐 공간임을 증명하고, 고전적 부드러움 공간에 대한 임베딩 성질을 규명하는 것.
• 수렴 속도 측면에서 고전적 조각다항식 및 딥 신경망 방법과 TN 근사 성능을 비교하는 것.
• 스parseness가 다양한 부드러움 영역에서 TTN의 최적 수렴 속도 달성에 미치는 영향을 분석하는 것.

제안 방법

• 저자들은 네트워크 복잡도에 따라 최적 근사 오차가 주어진 속도로 감소하는 함수의 집합으로 트리 텐서 네트워크(TTNs)의 근사 클래스를 정의한다.
• 네트워크 구조와 다항식 차수에 적절한 조건이 만족될 경우, TTN 근사 클래스가 (준-)바나흐 공간이 됨을 증명한다.
• 웨이블릿 기반 분해와 텐서 트레인 표현을 사용하여 오차 한계를 통제할 수 있는 다변수 함수의 근사를 구성한다.
• 직접적(Jackson 유형) 및 역방정식(Bernstein 유형) 부등식을 활용하여 고전적 부드러움 공간이 TTN 근사 클래스에 어떻게 임베딩되는지 특성화한다.
• 근사 이론의 결과, 특히 베소프 공간과 트리벨-리조르킨 공간 간의 임베딩 관계를 활용하여 이를 텐서 네트워크 구조에 적용한다.
• 스파르스 텐서 네트워크 코어가 이방성 및 혼합 부드러움 영역에서 최적 수렴 속도를 달성하는 데 필수적임을 입증한다.

실험 결과

연구 질문

• RQ1 트리 텐서 네트워크(TTNs)는 등방성, 이방성, 혼합 부드러움 공간에서 다변수 함수에 대해 near-optimal 수렴 속도를 달성할 수 있는가?
• RQ2 TTN의 근사 클래스는 (준-)바나흐 공간인가? 어떤 조건에서인가?
• RQ3 베소프 공간과 같은 고전적 부드러움 공간들이 TTN 근사 클래스에 연속적으로 포함되는가?
• RQ4 TTN 근사 클래스는 고전적 부드러움 공간에 포함되는가?
• RQ5 텐서 네트워크 코어의 스파르스성은 선형 및 비선형 근사에서 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• TTNs는 어떤 부드러움 순서에서든 $h$-균일 및 $h$-적응형 근사에 near-optimal하게 성능을 발휘하며, 조각다항식 및 딥 ReLU 네트워크와 동일한 성능을 달성한다.
• 네트워크 구조와 다항식 차수에 일정한 정규성 조건이 만족될 경우, TTN 근사 클래스는 (준-)바나흐 공간이 된다.
• 등방성, 이방성 또는 혼합 부드러움의 어떤 순서이든, 모든 베소프 공간은 TTN 근사 클래스에 연속적으로 포함되며, 이는 강력한 표현 능력을 시사한다.
• TTN 근사 클래스는 어떤 고전적 베소프 공간에도 포함되지 않으며, 이는 이들이 표준 부드러움 공간을 초월하는 함수 클래스를 포괄함을 보여준다.
• 선형 근사에서는 이방성 및 혼합 부드러움 영역에서 조밀한 코어는 차원에 따라 의존하는 요소로 인해 최적 수렴 속도보다 열등한 성능을 보이며, 반면 스파르스 코어는 최적 수렴 속도를 회복한다.
• 비선형 근사에서는 조밀한 코어가 스파르스 코어보다 $1/2$의 요소로 더 열등한 수렴 속도를 보이며, 스파르스 코어는 near-optimal 수렴 속도를 달성한다.