[论文解读] Improved Approximation Properties of Dictionaries and Applications to Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Jan 29, 2021

Sparse and Compressive Sensing Techniques参考文献 15被引用 6

一句话总结

本文引入了平滑参数化的字典，以改进希尔伯特空间中函数类的逼近率、度量熵和盖尔范德 $n$-宽度。该方法在ReLU$^k$激活神经网络和谱巴伦空间方面实现了更紧致的界，首次为谱巴伦空间提供了盖尔范德 $n$-宽度估计，并改进了现有的逼近率结果。

ABSTRACT

This article addresses the problem of approximating a function in a Hilbert space by an expansion over a dictionary $\mathbb{D}$. We introduce the notion of a smoothly parameterized dictionary and give upper bounds on the approximation rates, metric entropy and $n$-widths of the absolute convex hull, which we denote $B_1(\mathbb{D})$, of such dictionaries. The upper bounds depend upon the order of smoothness of the parameterization, and improve upon existing results in many cases. The main applications of these results is to the dictionaries $\mathbb{D} = \{\sigma(\omega\cdot x + b)\}\subset L^2$ corresponding to shallow neural networks with activation function $\sigma$, and to the dictionary of decaying Fourier modes corresponding to the spectral Barron space. This improves upon existing approximation rates for shallow neural networks when $\sigma = ext{ReLU}^k$ for $k\geq 2$, sharpens bounds on the metric entropy, and provides the first bounds on the Gelfand $n$-widths of the Barron space and spectral Barron space.

研究动机与目标

• 通过字典展开改进希尔伯特空间中函数的逼近率。
• 分析平滑参数化字典的绝对凸包 $B_1(\mathbb{D})$ 的度量熵与盖尔范德 $n$-宽度。
• 将这些结果应用于具有ReLU$^k$激活函数的浅层神经网络和谱巴伦空间。
• 首次建立谱巴伦空间的盖尔范德 $n$-宽度界。

提出的方法

• 引入平滑参数化字典的概念，其平滑度阶数决定逼近质量。
• 基于参数化的平滑度，推导 $B_1(\mathbb{D})$ 的逼近率、度量熵与盖尔范德 $n$-宽度的上界。
• 将该框架应用于 $L^2$ 空间中的字典 $\mathbb{D} = \{\sigma(\omega \cdot x + b)\}$，以处理浅层神经网络。
• 利用衰减傅里叶模的字典分析谱巴伦空间。
• 运用泛函分析工具，包括熵理论与宽度理论，量化函数类的复杂性。
• 证明更高的参数化平滑度可带来更优的逼近与复杂性界。

实验结果

研究问题

• RQ1 字典参数化的平滑度特性如何影响希尔伯特空间中的逼近率？
• RQ2 平滑参数化字典的绝对凸包 $B_1(\mathbb{D})$ 的度量熵与盖尔范德 $n$-宽度为何？
• RQ3 能否为 $k \geq 2$ 的ReLU$^k$激活函数的浅层神经网络建立改进的逼近率？
• RQ4 谱巴伦空间的盖尔范德 $n$-宽度的首个已知界是什么？
• RQ5 新界与现有结果相比，在紧致性和普适性方面如何？

主要发现

• 本文为 $k \geq 2$ 的ReLU$^k$激活函数的浅层神经网络建立了改进的逼近率上界，超越了先前结果。
• 首次提供了谱巴伦空间盖尔范德 $n$-宽度的已知上界，是函数类复杂性分析的重要进展。
• 度量熵以字典参数化的平滑度阶数为基准进行有界，从而获得更紧致的估计。
• 对于谱巴伦空间，所导出的度量熵与盖尔范德 $n$-宽度界比以往已知结果更优。
• 该框架表明，更平滑的参数化可带来字典展开中更优的逼近与复杂性控制。
• 结果推广并改进了巴伦型空间与神经网络逼近的现有理论，尤其在高维情形下。