[论文解读] Achieve the Minimum Width of Neural Networks for Universal Approximation

Yongqiang Cai|arXiv (Cornell University)|Sep 23, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

本文建立了在紧致定义域上，针对任意激活函数的前馈神经网络实现通用逼近所需的最小宽度的通用下界 $ w^{*}_{\text{min}} = \max(d_x, d_y) $，适用于 $ L^p $ 范数与连续范数。通过利用脉冲ReLU（leaky-ReLU）和UOE激活函数，结合神经ODE与流映射逼近方法，构造出达到最优宽度的网络，从而证明该下界是紧致的，解决了关于任意激活函数下最小宽度的长期开放问题。

ABSTRACT

The universal approximation property (UAP) of neural networks is fundamental for deep learning, and it is well known that wide neural networks are universal approximators of continuous functions within both the $L^p$ norm and the continuous/uniform norm. However, the exact minimum width, $w_{\min}$, for the UAP has not been studied thoroughly. Recently, using a decoder-memorizer-encoder scheme, \citet{Park2021Minimum} found that $w_{\min} = \max(d_x+1,d_y)$ for both the $L^p$-UAP of ReLU networks and the $C$-UAP of ReLU+STEP networks, where $d_x,d_y$ are the input and output dimensions, respectively. In this paper, we consider neural networks with an arbitrary set of activation functions. We prove that both $C$-UAP and $L^p$-UAP for functions on compact domains share a universal lower bound of the minimal width; that is, $w^*_{\min} = \max(d_x,d_y)$. In particular, the critical width, $w^*_{\min}$, for $L^p$-UAP can be achieved by leaky-ReLU networks, provided that the input or output dimension is larger than one. Our construction is based on the approximation power of neural ordinary differential equations and the ability to approximate flow maps by neural networks. The nonmonotone or discontinuous activation functions case and the one-dimensional case are also discussed.

研究动机与目标

• 确定使用任意激活函数的前馈神经网络实现通用逼近所需的确切最小宽度。
• 建立适用于 $ L^p $-和连续范数通用逼近的最小宽度的通用下界。
• 构建能够实现该最小宽度的神经网络架构，证明该下界的紧致性。
• 探讨激活函数（特别是非单调和不连续的）在实现最小宽度中的作用。
• 通过神经ODE与流映射逼近，将通用逼近与拓扑性质联系起来。

提出的方法

• 基于水平集与同胚的拓扑论证与反例，推导出通用下界 $ w^{*}_{\text{min}} = \max(d_x, d_y) $。
• 提出一种基于神经常微分方程（ODE）的新构造方法，表明ODE的流映射可被神经网络逼近，从而在最小宽度下实现通用逼近。
• 采用编码器-记忆-解码器框架实现 $ C $-UAP，引入不连续激活函数如 $ \lfloor x \rfloor $ 与UOE（极值的通用排序）函数。
• 证明脉冲ReLU网络可实现最小宽度 $ \max(d_x, d_y, 2) $，而脉冲ReLU+ABS或UOE+FLOOR网络可实现 $ \max(d_x, d_y) $，在特定条件下证明其最优性。
• 运用拓扑推理表明，当 $ d_x \geq d_y $ 时，连续单调激活函数（如脉冲ReLU）无法实现 $ w^{*}_{\text{min}} $，原因在于同胚无法逼近具有非平凡水平集的函数。
• 通过UOE激活函数分析 $ d_x = 1 $ 的情形，实现 $ w^{*}_{\text{min}} = d_y $，并利用拓扑不变性将其推广至高维。

实验结果

研究问题

• RQ1 使用任意激活函数的前馈神经网络实现通用逼近所需的最小宽度是否存在通用下界？其具体形式为何？
• RQ2 该下界是否可由特定激活函数实现？若可，是哪些？
• RQ3 神经ODE与流映射逼近在实现最小宽度通用逼近中起到何种作用？
• RQ4 为何连续单调激活函数在某些情况下无法实现最小宽度？其背后的拓扑约束是什么？
• RQ5 仅使用连续激活函数能否实现最小宽度 $ \max(d_x, d_y) $，还是必须依赖不连续或非单调函数？

主要发现

• 对于任意激活函数的神经网络，其最小宽度的通用下界为 $ w^{*}_{\text{min}} = \max(d_x, d_y) $，该结果在紧致定义域上对 $ L^p $-和连续范数通用逼近均成立。
• 该下界是紧致的：脉冲ReLU网络可实现 $ w^{*}_{\text{min}} = \max(d_x, d_y, 2) $，而脉冲ReLU+ABS或UOE+FLOOR网络可实现 $ w^{*}_{\text{min}} = \max(d_x, d_y) $，从而证明其最优性。
• 在 $ L^p $-UAP 情形下，当 $ d_x > 1 $ 或 $ d_y > 1 $ 时，脉冲ReLU网络通过神经ODE与流映射的逼近能力可实现最小宽度 $ \max(d_x, d_y) $。
• 在 $ C $-UAP 情形下，通过UOE+FLOOR网络可实现最小宽度 $ \max(d_x, d_y) $，尤其在 $ d_x = 1 $ 时，$ w^{*}_{\text{min}} = d_y $。
• 拓扑约束表明，当 $ d_x \geq d_y $ 时，连续单调激活函数（如脉冲ReLU）无法实现 $ w^{*}_{\text{min}} $，原因在于同胚无法逼近具有非平凡水平集的函数。
• 通过神经ODE的构造为通用逼近提供了新的几何与拓扑视角，将其与微分同胚及流映射的逼近联系起来。