[论文解读] A Survey on Universal Approximation Theorems

Midhun T. Augustine|arXiv (Cornell University)|Jul 17, 2024

Approximation Theory and Sequence Spaces被引用 6

一句话总结

本综述回顾前馈神经网络的通用近似定理（UAT），涵盖任意宽度与任意深度的结果，并将经典函数逼近结果与神经网络表达能力联系起来。

ABSTRACT

This paper discusses various theorems on the approximation capabilities of neural networks (NNs), which are known as universal approximation theorems (UATs). The paper gives a systematic overview of UATs starting from the preliminary results on function approximation, such as Taylor's theorem, Fourier's theorem, Weierstrass approximation theorem, Kolmogorov - Arnold representation theorem, etc. Theoretical and numerical aspects of UATs are covered from both arbitrary width and depth.

研究动机与目标

• 解释与神经网络相关的函数逼近的历史与数学基础。
• 系统地综述任意宽度与任意深度前馈神经网络的UATs。
• 解释不同激活函数如何影响通用近似性质。
• 讨论实现通用近似所需的最小宽度和深度。
• 为进一步阅读和实际应用提供指导与参考文献。

提出的方法

• 回顾经典逼近结果（Taylor、傅里叶、Weierstrass、Kolmogorov–Arnold）作为基础背景。
• 给出任意宽度的UAT：单隐藏层网络使用 sigmoid/非多项式激活函数对连续函数的密集近似。
• 给出任意深度的UAT：分析深度与宽度，以及深度网络近似任意函数的能力。
• 讨论最小宽度结果（如宽度 n+4 和宽度 n+1 的界）及其影响。
• 通过 ReLU 网络和分段线性近似的例子说明实际表达能力。

Figure 1: (a) Neural Network (b) Neuron.

实验结果

研究问题

• RQ1 支撑神经网络通用近似的关键历史与数学结果有哪些？
• RQ2 在什么条件下（宽度、深度、激活函数）前馈神经网络可以在紧致定义域上近似任意连续函数？
• RQ3 在不同设置中实现通用近似所需的最小宽度和深度是什么？
• RQ4 激活函数（sigmoid、ReLU、非多项式）如何影响UAT陈述？
• RQ5 在实现通用近似时，宽度与深度的实际影响是什么？

主要发现

• 使用 sigmoid 或非多项式激活的一层隐藏网络可以在紧致集合上密集近似连续函数。
• 深度网络（任意深度且宽度受限，或反之）在适当的激活函数下展现出通用近似能力。
• 实现通用近似所需的最小宽度大于1，在不同设置中有结果显示宽度 n+4 和后来的宽度 max{n+1,m} 足以。
• 当宽度≤n时，ReLU网络在宽度相关方面存在限制，但超过这些阈值的宽度可对许多函数族实现通用近似。
• 经典结果（Taylor、傅里叶、Weierstrass、Kolmogorov–Arnold）为神经网络近似能力的理论基础，并与UAT证明相关联。
• 将卷积、残差、循环网络和Transformer架构的扩展作为未来方向或独立文献讨论。

Figure 2: Graph of activation functions: (a) ReLU (b) Step (c) Logistic (d) Tanh.