[论文解读] Minimum Width for Universal Approximation

Sejun Park, Chulhee Yun+2 more|arXiv (Cornell University)|Jun 16, 2020

Complexity and Algorithms in Graphs参考文献 28被引用 11

一句话总结

本文確立了ReLU神經網絡實現$L^p$函數通用逼近所需的最小寬度：$[ d_x+1, d_y }$，其中$d_x$為輸入維度，$d_y$為輸出維度。作者證明此界對$L^p$逼近是緊確的，但僅使用ReLU時在一致逼近下不成立；然而，當加入一個閾值（階梯）激活函數後，該界仍成立。研究基於特徵空間中網絡路徑連通分量與環結構的拓撲與幾何分析。

ABSTRACT

The universal approximation property of width-bounded networks has been studied as a dual of classical universal approximation results on depth-bounded networks. However, the critical width enabling the universal approximation has not been exactly characterized in terms of the input dimension $d_x$ and the output dimension $d_y$. In this work, we provide the first definitive result in this direction for networks using the ReLU activation functions: The minimum width required for the universal approximation of the $L^p$ functions is exactly $\max\{d_x+1,d_y\}$. We also prove that the same conclusion does not hold for the uniform approximation with ReLU, but does hold with an additional threshold activation function. Our proof technique can be also used to derive a tighter upper bound on the minimum width required for the universal approximation using networks with general activation functions.

研究动机与目标

• 解決長期懸而未決的問題：確立ReLU網絡實現通用逼近所需的确切最小寬度。
• 確定$\max\{d_x+1, d_y\}$是否為$L^p$空間中通用逼近的緊確下界與上界。
• 研究該寬度閾值是否適用於一致逼近；若否，則識別可恢復緊確性的修改方式（例如，添加閾值激活函數）。
• 基於特徵空間中路徑連通分量與環交點等拓撲不變量，建立通用的證明框架。

提出的方法

• 利用卷繞數$\pi_{\mathcal{V}}(x)$構造一個拓撲不變量，用於追蹤從點$x$出發的射線與特徵空間中封閉曲線$\mathcal{V}$的交點次數。
• 定義網絡路徑$g_{\ell^*}([0,1])$，並分析其與球體$\mathcal{B}$及其邊界$\partial\mathcal{B}$的交點，以識別近似誤差傳播的關鍵區域。
• 利用性質：若$g_{\ell^*}(p) \in \partial\mathcal{B}$，則$f(p) = g_{\ell^*}(p)$，此性質源自網絡在特定變換下的不變性，用於約束邊界附近的近似行為。
• 應用$\mathbb{R}^2 \setminus \mathcal{U}$中有界路徑連通分量的概念，證明處於此類分量內的點無法被射線以奇數次交點方式到達，從而揭示拓撲障礙。
• 引入由$\mathcal{P}$與$\mathcal{L}(z_1,z_2)$構成的簡單環$\mathcal{V}$，用於分析卷繞行為，並在寬度過小時導出矛盾。
• 證明添加閾值激活函數可恢復一致逼近下的$\max\{d_x+1, d_y\}$寬度界，因其能實現更強的拓撲控制。

实验结果

研究问题

• RQ1 ReLU網絡要實現從$\mathbb{R}^{d_x}$到$\mathbb{R}^{d_y}$的$L^p$函數通用逼近，所需的確切最小寬度是多少？
• RQ2 對於一致範數，$\max\{d_x+1, d_y\}$寬度是否足夠實現通用逼近？還是僅使用ReLU時不充分？
• RQ3 能否通過修改激活函數（如添加閾值激活）使$\max\{d_x+1, d_y\}$寬度界在一致逼近下恢復成立？
• RQ4 網絡特徵空間軌跡的哪些拓撲或幾何性質能促成或阻止在最小寬度下的通用逼近？

主要发现

• 使用ReLU網絡實現$L^p$函數通用逼近所需的最小寬度確為$\max\{d_x+1, d_y\}$。
• 對於一致逼近，僅使用ReLU時$\max\{d_x+1, d_y\}$寬度界不成立，如$C([0,1], \mathbb{R}^2)$的反例所示。
• 添加閾值（階梯）激活函數可恢復$\max\{d_x+1, d_y\}$界，使其對一致逼近而言既充分又必要。
• 基於卷繞數與路徑連通分量的證明技術，為一般連續非多項式激活函數提供了$\max\{d_x+2, d_y+1\}$的緊確上界。
• 作者通過拓撲障礙分析（涉及射線交點與有界分量）解決了文獻中長期存在的差距，填補了Lu等（2017）提出的$d_x+1$與$d_x+4$之間的界間隙，證明真實最小值為$\max\{d_x+1, d_y\}$。
• 該結果是緊確的：任何更小的寬度均無法實現$L^p$函數的通用逼近，如基於射線交點與有界分量的拓撲障礙論證所示。