[论文解读] A closer look at the approximation capabilities of neural networks

Kai Fong Ernest Chong|arXiv (Cornell University)|Feb 16, 2020

Neural Networks and Applications参考文献 24被引用 9

一句话总结

本文为具有连续非多项式激活函数的前馈神经网络的通用近似定理提供了直接的代数证明。它量化了实现一致近似的隐藏单元数量：对于总次数为 $d$ 的多项式函数为 $\binom{n+d}{d}$，对于一般连续函数则为 $\mathcal{O}(\varepsilon^{-n})$，即使在非偏置权重存在严格约束的情况下也成立。

ABSTRACT

The universal approximation theorem, in one of its most general versions, says that if we consider only continuous activation functions $σ$, then a standard feedforward neural network with one hidden layer is able to approximate any continuous multivariate function $f$ to any given approximation threshold $\varepsilon$, if and only if $σ$ is non-polynomial. In this paper, we give a direct algebraic proof of the theorem. Furthermore we shall explicitly quantify the number of hidden units required for approximation. Specifically, if $X\subseteq \mathbb{R}^n$ is compact, then a neural network with $n$ input units, $m$ output units, and a single hidden layer with $\binom{n+d}{d}$ hidden units (independent of $m$ and $\varepsilon$), can uniformly approximate any polynomial function $f:X o \mathbb{R}^m$ whose total degree is at most $d$ for each of its $m$ coordinate functions. In the general case that $f$ is any continuous function, we show there exists some $N\in \mathcal{O}(\varepsilon^{-n})$ (independent of $m$), such that $N$ hidden units would suffice to approximate $f$. We also show that this uniform approximation property (UAP) still holds even under seemingly strong conditions imposed on the weights. We highlight several consequences: (i) For any $δ> 0$, the UAP still holds if we restrict all non-bias weights $w$ in the last layer to satisfy $|w| < δ$. (ii) There exists some $λ>0$ (depending only on $f$ and $σ$), such that the UAP still holds if we restrict all non-bias weights $w$ in the first layer to satisfy $|w|>λ$. (iii) If the non-bias weights in the first layer are \emph{fixed} and randomly chosen from a suitable range, then the UAP holds with probability $1$.

研究动机与目标

• 为具有连续非多项式激活函数的神经网络的通用近似定理提供直接的代数证明。
• 明确量化为一致近似连续函数和多项式函数所需隐藏单元的数量。
• 研究当第一层或最后一层的非偏置权重受到强约束时，通用近似性质（UAP）是否仍然成立。
• 探讨偏置和非偏置权重在结构限制下维持近似能力中的作用。
• 建立一个适用于更广泛神经网络类别（包括卷积和循环架构）的一般代数准则。

提出的方法

• 利用代数几何和范德蒙德矩阵的性质，分析网络泛函的线性无关性。
• 将非偏置范德蒙德矩阵的非奇异作为在权重约束下实现通用近似的关键条件。
• 应用魏尔斯特拉斯近似定理，以界定连续函数与其多项式近似之间的误差。
• 引入基于连续模的误差界，推导出一般连续函数的 $\mathcal{O}(\varepsilon^{-n})$ 量级缩放。
• 构建一个具有 $\binom{n+d}{d}$ 个隐藏单元的神经网络，以在紧致域上精确表示任意总次数为 $d$ 的多项式。
• 通过权重空间上的测度论论证，证明即使非偏置权重被限制在小区间或远离零，UAP 依然成立。

实验结果

研究问题

• RQ1 能否通过直接代数方法而非泛函分析方法证明通用近似定理？
• RQ2 为在误差 $\varepsilon$ 内一致近似连续函数，所需隐藏单元的精确数量是多少？
• RQ3 当第一层或最后一层的非偏置权重被限制在特定范围内时，通用近似性质是否仍然成立？
• RQ4 当非偏置权重被固定或从给定范围内随机采样时，UAP 是否仍能保持？
• RQ5 对于给定类别的神经网络，确保通用近似的网络权重的代数条件是什么？

主要发现

• 具有 $\binom{n+d}{d}$ 个隐藏单元的神经网络可以一致近似任意总次数不超过 $d$ 的多项式函数 $f: X \to \mathbb{R}^m$，且该结果与 $\varepsilon$ 和 $m$ 无关。
• 对于定义在紧集 $X \subseteq \mathbb{R}^n$ 上的任意连续函数 $f: X \to \mathbb{R}^m$，$\mathcal{O}(\varepsilon^{-n})$ 个隐藏单元足以在误差 $\varepsilon$ 内实现一致近似，且该结果与 $m$ 无关。
• 即使最后一层的所有非偏置权重被限制在 $|w| < \delta$（对任意 $\delta > 0$），通用近似性质依然成立，且该界与 $\delta$ 无关。
• 存在 $\lambda > 0$（依赖于 $f$ 和 $\sigma$），使得当第一层的所有非偏置权重满足 $|w| > \lambda$ 时，通用近似性质仍然成立。
• 若第一层的非偏置权重被固定并从合适范围内随机选取，则通用近似性质以概率 1 成立。
• 使得非偏置范德蒙德矩阵非奇异的权重配置集合在权重空间中是稠密的，这意味着此类配置存在且具有普遍性。