[论文解读] Approximation Theory of Tree Tensor Networks: Tensorized Multivariate Functions

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|Jan 28, 2021

Model Reduction and Neural Networks被引用 5

一句话总结

该论文证明了树张量网络（TTNs）在各向同性、各向异性和混合光滑性空间中对多元函数实现了近乎最优的逼近率，其性能与分段多项式及深层ReLU网络相当。论文证明了TTN逼近类是（拟-）巴拿赫空间，能连续嵌入经典Besov空间，且不被任何此类空间所包含——这表明其具有普遍表达能力，适合作为高维函数逼近的模型类。

ABSTRACT

We study the approximation of multivariate functions with tensor networks (TNs), providing some answers to the following two questions: ``what are the approximation capabilities of TNs for functions from classical smoothness classes?'' and ``what are the properties of the class of functions that can be approximated with TNs with a certain performance?'' As a partial answer to the former, we show that TNs can (near to) optimally replicate $h$-uniform and $h$-adaptive spline approximation, for any smoothness order of the target function. Tensor networks thus exhibit universal expressivity w.r.t. isotropic, anisotropic and mixed smoothness spaces that is comparable with more general neural networks families such as deep rectified linear unit (ReLU) networks. Put differently, TNs have the capacity to (near to) optimally approximate many function classes -- without being adapted to the particular class in question. As a partial answer to the latter, as a candidate model class we consider approximation classes of TNs and show that these are (quasi-)Banach spaces, that many types of classical smoothness spaces are continuously embedded into said approximation classes and that TNs approximation classes are themselves not embedded in any classical smoothness space. In other words, TNs can efficiently approximate functions that lie beyond classical smoothness spaces.

研究动机与目标

• 确定张量网络（TNs）对任意光滑性阶数的多元函数的逼近能力。
• 识别出可被TNs高效逼近的合适函数模型类。
• 证明TN逼近类为（拟-）巴拿赫空间，并表征其相对于经典光滑性空间的嵌入性质。
• 从收敛率角度，比较TN逼近性能与经典分段多项式及深层神经网络方法的表现。
• 分析在不同光滑性条件下，张量网络核心稀疏性在实现最优逼近率中的作用。

提出的方法

• 作者将树张量网络（TTNs）的逼近类定义为：其最佳逼近误差随网络复杂度按给定速率衰减的函数集合。
• 在适当的网络拓扑和多项式次数条件下，证明TTN逼近类为（拟-）巴拿赫空间。
• 利用小波分解与张量列车表示，构建了具有可控误差界的一类多元函数逼近。
• 采用直接（Jackson型）与逆（Bernstein型）不等式，刻画经典光滑性空间向TTN逼近类的嵌入关系。
• 分析结合逼近理论中的结果，包括Besov空间与Triebel-Lizorkin空间之间的嵌入关系，并将其应用于张量网络结构。
• 证明稀疏TN在实现最优收敛率中至关重要，尤其在各向异性和混合光滑性情形下。

实验结果

研究问题

• RQ1 树张量网络（TTNs）是否能在各向同性、各向异性和混合光滑性空间中实现对多元函数的近乎最优逼近率？
• RQ2 TTN的逼近类是否为（拟-）巴拿赫空间？在何种条件下成立？
• RQ3 经典光滑性空间（如Besov空间）是否能连续嵌入TTN逼近类？
• RQ4 TTN逼近类本身是否被嵌入于任何经典光滑性空间中？
• RQ5 在线性与非线性逼近中，张量网络核心的稀疏性如何影响收敛率？

主要发现

• TTNs可（近乎）最优地再现$h$-均匀与$h$-自适应逼近，适用于任意光滑性阶数，其性能与分段多项式及深层ReLU网络相当。
• 当网络拓扑与多项式次数满足一定正则性条件时，TTN逼近类为（拟-）巴拿赫空间。
• 任意阶数的Besov空间——无论是各向同性、各向异性还是混合光滑性——均可连续嵌入TTN逼近类，表明其具有强大的表达能力。
• TTN逼近类不被任何经典Besov空间所包含，说明其捕捉了超越标准光滑性空间的函数类。
• 在线性逼近中，密集核心在各向异性和混合光滑性情形下导致收敛率比最优值差一个与维度相关的因子，而稀疏核心可恢复最优率。
• 在非线性逼近中，密集核心的收敛率比稀疏核心差一个因子$1/2$，而稀疏核心可实现近乎最优的收敛率。