[论文解读] Approximation Theory of Tree Tensor Networks: Tensorized Univariate Functions -- Part I

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|Jun 30, 2020

Tensor decomposition and applications参考文献 31被引用 7

一句话总结

本文提出了一种基于张量化构建的张量网络的新近似框架，用于单变量函数，证明了$L^p$函数可表示为张量积空间。该文基于秩结构张量格式定义了近似类，表明其构成拟范数线性空间，并且在网络深度增加时，其表达能力显著优于经典光滑性空间。

ABSTRACT

We study the approximation of functions by tensor networks (TNs). We show that Lebesgue $L^p$-spaces in one dimension can be identified with tensor product spaces of arbitrary order through tensorization. We use this tensor product structure to define subsets of $L^p$ of rank-structured functions of finite representation complexity. These subsets are then used to define different approximation classes of tensor networks, associated with different measures of complexity. These approximation classes are shown to be quasi-normed linear spaces. We study some elementary properties and relationships of said spaces. In part II of this work, we will show that classical smoothness (Besov) spaces are continuously embedded into these approximation classes. We will also show that functions in these approximation classes do not possess any Besov smoothness, unless one restricts the depth of the tensor networks. The results of this work are both an analysis of the approximation spaces of TNs and a study of the expressivity of a particular type of neural networks (NN) -- namely feed-forward sum-product networks with sparse architecture. The input variables of this network result from the tensorization step, interpreted as a particular featuring step which can also be implemented with a neural network with a specific architecture. We point out interesting parallels to recent results on the expressivity of rectified linear unit (ReLU) networks -- currently one of the most popular type of NNs.

研究动机与目标

• 建立使用树状张量网络近似单变量函数的理论基础。
• 基于秩结构张量格式定义近似类及其复杂度度量。
• 分析这些近似类作为拟范数线性空间的性质。
• 为第二部分奠定基础，其中将建立与Besov空间和Sobolev空间的联系。
• 强调张量网络与特定类别的稀疏结构前馈神经网络之间的联系。

提出的方法

• 使用基-$b$展开将单变量函数张量化为多变量函数，以实现张量积结构。
• 在张量化所诱导的特征空间中，将函数表示为秩结构张量。
• 将近似类定义为在张量网络格式下具有有限表示复杂度的$L^p$子集。
• 利用张量积结构在近似类上定义拟范数。
• 将张量化步骤编码为具有指示函数和幂次激活函数的三层前馈神经网络。
• 将所得近似工具与和积网络及稀疏神经架构相联系。

实验结果

研究问题

• RQ1 如何通过张量化系统地利用张量积结构表示单变量$L^p$函数？
• RQ2 基于秩结构张量网络定义的近似类具有何种结构性和分析性特征？
• RQ3 这些近似类与经典光滑性空间（如Besov空间和Sobolev空间）之间有何关系？
• RQ4 网络深度在决定张量网络近似的表达能力方面起什么作用？
• RQ5 与基于经典样条的特征相比，基于张量化的特征化步骤在近似能力上表现如何？

主要发现

• 由张量化诱导的张量积结构使得$L^p$函数可被识别为任意阶的张量积空间。
• 基于有限秩张量网络的近似类在适当的复杂度度量下构成拟范数线性空间。
• 除非限制张量网络的深度，否则这些近似类严格大于经典Besov空间。
• 张量化步骤可通过具有特定激活函数的三层前馈神经网络实现，从而将张量网络与神经网络架构联系起来。
• 通过增加张量网络的深度$d$，该框架即使在低次多项式特征（$m=0$）下，也能实现接近最优的近似速率，适用于广泛范围的光滑性空间。
• 该方法揭示，当$m$固定时，充分利用张量化表示中的低秩结构对于实现高近似精度至关重要。