[论文解读] Approximation by tree tensor networks in high dimensions: Sobolev and compositional functions

Markus Bachmayr, Anthony Nouy+1 more|SPIRE - Sciences Po Institutional REpository|Dec 2, 2021

Composite Material Mechanics被引用 5

一句话总结

本文为高维函数空间中的树张量网络建立了近似误差界，表明当底层树的深度为对数级时，具有层次结构的组合函数可被近似而不会遭遇维度灾难。关键结果是：对于平衡树，当分量函数为利普希茨连续且导数有界时，近似复杂度在维度和逆精度上呈多项式增长。

ABSTRACT

This paper is concerned with convergence estimates for fully discrete tree tensor network approximations of high-dimensional functions from several model classes. For functions having standard or mixed Sobolev regularity, new estimates generalizing and refining known results are obtained, based on notions of linear widths of multivariate functions. In the main results of this paper, such techniques are applied to classes of functions with compositional structure, which are known to be particularly suitable for approximation by deep neural networks. As shown here, such functions can also be approximated by tree tensor networks without a curse of dimensionality -- however, subject to certain conditions, in particular on the depth of the underlying tree. In addition, a constructive encoding of compositional functions in tree tensor networks is given.

研究动机与目标

• 分析完全离散树张量网络在高维函数中的近似能力。
• 利用线性宽度技术，将收敛估计扩展至索博列夫空间和混合正则性函数。
• 研究已知可被深度神经网络高效近似的组合函数，是否也能被树张量网络高效近似。
• 确定树张量网络在何种条件下可避免组合函数的维度灾难。
• 提供组合函数在树张量网络格式下的构造性编码，并量化近似复杂度。

提出的方法

• 利用线性宽度估计，推导索博列夫空间和混合正则性函数在树张量网络格式下的收敛速率。
• 应用一种构造性编码技术，将组合函数表示为树张量网络，利用层次函数组合结构。
• 基于与维度树中每个节点相关的张量矩阵化中奇异值的衰减，推导误差界。
• 引入对分量函数的参数化，其导数有界（利普希茨连续及弱索博列夫正则性），以控制近似复杂度。
• 分析近似复杂度对树深度 $L$、分支度 $a$ 以及导数界 $B_1$、$B_\star$ 的依赖关系。
• 建立张量秩 $r_\alpha$ 的充分条件，以实现给定的 $L^p$-误差 $\varepsilon$，从而得到以 $\varepsilon^{-1/s}$ 和 $d$ 表示的复杂度界。

实验结果

研究问题

• RQ1 树张量网络能否在不遭遇维度灾难的情况下近似高维组合函数？
• RQ2 近似复杂度对底层维度树深度和分支度的依赖关系如何？
• RQ3 分量函数的正则性（以利普希茨常数和弱索博列夫范数衡量）如何影响近似速率？
• RQ4 在何种条件下，近似复杂度在维度 $d$ 和逆精度 $\varepsilon^{-1}$ 上保持多项式关系？
• RQ5 在相同张量网络格式下，组合函数的收敛速率与标准索博列夫函数相比如何？

主要发现

• 对于深度 $L \sim \log_2 d$ 的平衡树，组合函数的近似复杂度在 $d$ 和 $\varepsilon^{-1}$ 上呈多项式增长，从而避免了维度灾难。
• 当分量函数为 $1$-利普希茨（$B_1 = 1$）且树的分支度有界时，复杂度为 $\mathcal{O}(d^{1+(a+1)/s} \varepsilon^{-(a+1)/s})$，且与深度的指数依赖无关。
• 对于线性树（$L = d-1$），复杂度以 $B_1^{3d}$ 指数增长，表明树深度在避免维度灾难中起关键作用。
• 对于二叉树，复杂度为 $\mathcal{O}(L^3 \varepsilon^{-3/s} B_1^{3L} B_\star^3)$，其中 $L \leq \lceil \log_2 d \rceil$ 对于平衡树成立，从而在 $d$ 上呈现多项式依赖。
• 相比之下，对于平凡树（Tucker 格式），复杂度为 $\mathcal{O}(d^{d/s} \varepsilon^{-d/s})$，即使 $s > 1$ 也遭受维度灾难。
• 结果表明，只要树结构浅且平衡，树张量网络可对组合函数实现与深度神经网络相似的有利复杂度标度。