[论文解读] Approximation Theory of Tree Tensor Networks: Tensorized Univariate Functions -- Part II

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|Jun 30, 2020

Tensor decomposition and applications参考文献 31被引用 4

一句话总结

该论文证明了具有可控复杂度的树张量网络（TT）能够以最优或近似最优的收敛速率逼近经典光滑性类中的函数——如Besov空间和Sobolev空间。通过将经典逼近工具（如样条、多项式）编码为张量网络，作者推导出直接（Jackson型）不等式，并表明深层TT可实现解析函数的指数收敛，而稀疏连接则实现类似自由节点样条的自适应逼近。

ABSTRACT

We study the approximation by tensor networks (TNs) of functions from classical smoothness classes. The considered approximation tool combines a tensorization of functions in $L^p([0,1))$, which allows to identify a univariate function with a multivariate function (or tensor), and the use of tree tensor networks (the tensor train format) for exploiting low-rank structures of multivariate functions. The resulting tool can be interpreted as a feed-forward neural network, with first layers implementing the tensorization, interpreted as a particular featuring step, followed by a sum-product network with sparse architecture. In part I of this work, we presented several approximation classes associated with different measures of complexity of tensor networks and studied their properties. In this work (part II), we show how classical approximation tools, such as polynomials or splines (with fixed or free knots), can be encoded as a tensor network with controlled complexity. We use this to derive direct (Jackson) inequalities for the approximation spaces of tensor networks. This is then utilized to show that Besov spaces are continuously embedded into these approximation spaces. In other words, we show that arbitrary Besov functions can be approximated with optimal or near to optimal rate. We also show that an arbitrary function in the approximation class possesses no Besov smoothness, unless one limits the depth of the tensor network.

研究动机与目标

• 建立张量网络逼近空间与经典函数空间（如Besov空间和Sobolev空间）之间的关系。
• 表明除非限制深度，否则张量网络逼近类中的任意函数均不具备Besov光滑性，凸显深层网络的表达能力。
• 证明经典逼近工具——多项式、样条（固定节点与自由节点）以及多分辨率分析——可被编码为具有可控复杂度的张量网络。
• 推导张量网络逼近的直接（Jackson）不等式，证明Besov空间和Sobolev空间中函数的逼近速率达到最优或近似最优。
• 研究深度与稀疏性在实现与p-自适应和h-自适应方法（如高阶多项式和自由节点样条）相当的逼近速率中的作用。

提出的方法

• 使用b进制张量化方法将[0,1)上的单变量函数映射到张量空间Vb,d中的多变量张量，通过等距嵌入保持Lp范数。
• 在张量化空间中使用树张量网络（TT格式）表示函数，其中规范张量秩由多线性秩（β-秩）替代，以实现分层低秩结构。
• 通过在有界秩和层级下表达为低秩张量分解，将经典逼近工具（多项式、样条、MRA）编码为张量网络。
• 通过将逼近误差以张量网络复杂度（参数数量、深度、秩）为界，推导直接估计（Jackson不等式）。
• 仅在深度受限时建立逆估计，通过定义受限逼近类ΦB_n（具有有界深度和秩）确保光滑性性质得以保持。
• 分析深度与稀疏性之间的相互作用：深层网络可复现p-自适应逼近（如高阶多项式），而稀疏网络可复现h-自适应逼近（如自由节点样条），二者结合可实现hp-自适应逼近。

实验结果

研究问题

• RQ1 能否以可控复杂度将多项式和样条等经典逼近工具编码为张量网络？
• RQ2 张量网络在Besov空间和Sobolev空间中函数的逼近速率如何？是否达到最优？
• RQ3 为何张量网络逼近类中的任意函数在深度未受限制时不具备Besov光滑性？
• RQ4 张量网络中的深度与稀疏性如何对应经典方法中的p-自适应与h-自适应逼近？
• RQ5 在何种条件下，张量网络逼近空间中成立逆估计（Bernstein型）？

主要发现

• Besov空间Bαδτ,τ连续嵌入张量网络逼近空间，意味着所有Besov函数均可实现最优或近似最优的逼近速率。
• 除非网络深度受限制，否则张量网络逼近类中的任意函数均不具有Besov光滑性，这凸显了深层网络的高表达能力。
• 张量网络可对解析函数实现指数收敛速率，与经典方法的最佳可能速率一致。
• 对于Sobolev空间W r,p（当r ≤ m+1时），当网络深度受限制时，张量网络的逼近速率与经典结果一致，且在此类约束下成立逆估计。
• 受限类ΦB_n（具有有界深度和秩rB）允许逆估计，其界依赖于rB和cB，并确保连续嵌入到Sobolev空间中。
• 稀疏且深层的张量网络可共同复现hp-自适应逼近：深度实现p-细化（高阶多项式），稀疏性实现h-细化（自由节点样条）。