[논문 리뷰] Approximation by tree tensor networks in high dimensions: Sobolev and compositional functions

Markus Bachmayr, Anthony Nouy외 1명|SPIRE - Sciences Po Institutional REpository|2021. 12. 02.

Composite Material Mechanics인용 수 5

한 줄 요약

이 논문은 고차원 함수 공간에서 트리 텐서 네트워크의 근사 오차 한계를 확립하며, 계층적 구조를 가진 복합 함수는 기저 트리의 깊이가 로그 수준일 경우 차원의 고통 없이 근사 가능하다는 것을 보여준다. 핵심 결과는 균형 잡힌 트리의 경우, 구성 함수들이 유계 도함수를 가진 리프시츠 연속일 때 근사 복잡도가 차원과 반비례 정확도의 다항식으로 증가한다는 것이다.

ABSTRACT

This paper is concerned with convergence estimates for fully discrete tree tensor network approximations of high-dimensional functions from several model classes. For functions having standard or mixed Sobolev regularity, new estimates generalizing and refining known results are obtained, based on notions of linear widths of multivariate functions. In the main results of this paper, such techniques are applied to classes of functions with compositional structure, which are known to be particularly suitable for approximation by deep neural networks. As shown here, such functions can also be approximated by tree tensor networks without a curse of dimensionality -- however, subject to certain conditions, in particular on the depth of the underlying tree. In addition, a constructive encoding of compositional functions in tree tensor networks is given.

연구 동기 및 목표

• 고차원 함수에 대한 완전 이산 트리 텐서 네트워크의 근사 능력을 분석하기 위해.
• 선형 폭 기법을 사용하여 소볼레프 및 혼합 정규성 함수에 대한 수렴 추정을 확장하기 위해.
• 딥 뉴럴 네트워크에 의해 효율적으로 근사 가능한 것으로 알려진 복합 함수가 트리 텐서 네트워크로도 효율적으로 근사 가능한지 조사하기 위해.
• 복합 함수에 대해 트리 텐서 네트워크가 차원의 고통을 피할 수 있는 조건을 규명하기 위해.
• 근사 복잡도를 정량화한 조건 하에 복합 함수를 트리 텐서 네트워크 형식으로 구성적으로 표현하기 위해.

제안 방법

• 선형 폭 추정을 사용하여 트리 텐서 네트워크 형식에서 소볼레프 및 혼합 정규성 함수의 수렴 속도를 유도한다.
• 계층적 함수 조합을 활용하여 복합 함수를 트리 텐서 네트워크로 표현하기 위한 구성적 표현 기법을 적용한다.
• 각 차원 트리의 노드와 관련된 텐서 분해에서의 특이값의 감쇠에 기반한 오차 한계를 도출한다.
• 근사 복잡도를 제어하기 위해 도함수가 유계인 구성 함수의 매개변수화(리프시츠 및 약한 소볼레프 정규성)를 도입한다.
• 근사 복잡도가 트리 깊이 $L$, 차수 $a$, 도함수 유계값 $B_1$, $B_\star$에 어떻게 의존하는지 분석한다.
• 주어진 $L^p$-오차 $\varepsilon$를 달성하기 위해 필요한 텐서 랭크 $r_\alpha$의 충분 조건을 확립하며, 이는 $\varepsilon^{-1/s}$와 $d$에 대한 복잡도 한계로 이어진다.

실험 결과

연구 질문

• RQ1 트리 텐서 네트워크는 고차원 복합 함수를 차원의 고통 없이 근사할 수 있는가?
• RQ2 기저 차원 트리의 깊이와 차수에 따라 근사 복잡도는 어떻게 의존하는가?
• RQ3 구성 함수의 정규성(리프시츠 상수 및 약한 소볼레프 노름으로 측정)은 근사 속도에 어떻게 영향을 미치는가?
• RQ4 근사 복잡도가 차원 $d$와 반비례 정확도 $\varepsilon^{-1}$에 대해 다항식으로 유지되는 조건은 무엇인가?
• RQ5 동일한 텐서 네트워크 형식에서 복합 함수의 수렴 속도는 표준 소볼레프 함수의 수렴 속도와 어떻게 비교되는가?

주요 결과

• 균형 잡힌 트리에서 깊이 $L \sim \log_2 d$일 경우, 복합 함수의 근사 복잡도는 $d$와 $\varepsilon^{-1}$에 대해 다항식으로 증가하며, 차원의 고통을 피한다.
• 구성 함수들이 $1$-리프시츠($B_1 = 1$)이고 트리의 차수가 유계일 경우, 복잡도는 $\mathcal{O}(d^{1+(a+1)/s} \varepsilon^{-(a+1)/s})$로 표현되며, 깊이에 대한 지수적 의존성 없이 유지된다.
• 선형 트리($L = d-1$)의 경우, 복잡도는 $B_1^{3d}$로 지수적으로 증가하여 트리 깊이가 차원의 고통을 피하는 데 핵심적임을 보여준다.
• 이진 트리의 경우 복잡도는 $\mathcal{O}(L^3 \varepsilon^{-3/s} B_1^{3L} B_\star^3)$이며, 균형 잡힌 트리의 경우 $L \leq \lceil \log_2 d \rceil$이므로 $d$에 대해 다항식 의존성이 발생한다.
• 반면에, 단순 트리(태커 형식)의 경우 복잡도는 $\mathcal{O}(d^{d/s} \varepsilon^{-d/s})$로 증가하여 $s > 1$일 때조차도 차원의 고통을 겪는다.
• 결과적으로 트리 텐서 네트워크는 트리의 깊이가 얕고 균형 잡혀 있을 경우, 복합 함수에 대해 딥 뉴럴 네트워크와 유사한 유리한 복잡도 스케일링을 달성할 수 있음을 보여준다.