[论文解读] Error bounds for deep ReLU networks using the Kolmogorov--Arnold superposition theorem

Hadrien Montanelli, Haizhao Yang|arXiv (Cornell University)|Jun 27, 2019

Neural Networks and Applications参考文献 22被引用 5

一句话总结

本文通过利用柯尔莫哥洛夫–阿诺尔德叠加定理的构造性版本，建立了深度ReLU网络逼近多元函数的误差界。结果表明，对于某一类连续函数，网络深度和规模的量级为$\mathcal{O}(\epsilon^{-\log n})$，相较于标准的$\mathcal{O}(\epsilon^{-n})$增长，显著缓解了维度灾难。

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks, for which the curse of the dimensionality is lessened. Our theorem is based on a constructive proof of the Kolmogorov--Arnold superposition theorem, and on a subset of multivariate continuous functions whose outer superposition functions can be efficiently approximated by deep ReLU networks.

研究动机与目标

• 为缓解深度学习逼近中的维度灾难，通过构造深度ReLU网络的误差界来解决该问题。
• 证明柯尔莫哥洛夫–阿诺尔德叠加定理可实现对多元函数的高效逼近，从而降低网络复杂度。
• 识别出一类连续多元函数，其叠加表示中的外函数可被深度ReLU网络高效逼近。
• 通过利普希茨连续的内函数和外函数，提供叠加定理的构造性证明，从而支持实际网络设计。

提出的方法

• 采用内函数$\psi(x_i + ja)$和外函数$\phi_j$的柯尔莫哥洛夫–阿诺尔德叠加定理的构造性版本。
• 使用深度ReLU网络架构来逼近内函数$\psi$和外函数$\phi_j$，分别通过子网络$\widetilde{\psi}$和$\widetilde{\phi}_j^r$实现。
• 应用三角不等式，将总逼近误差界表示为逼近内函数和外函数误差之和。
• 通过设定$\epsilon_\psi = \frac{n\epsilon}{2(2n+1)^2\nu_r(f)}$和$\epsilon_\phi = \frac{\epsilon}{4(2n+1)}$，确保$\|f - \tilde{f}_r\|_{L^\infty} \leq \epsilon$，从而推导出误差界。
• 通过递归网络构造，实现深度$L \leq c_0(1)(W_\psi + W_\phi)$和规模$W \leq n(2n+1)W_\psi + (2n+1)W_\phi$。
• 建立网络规模的界：$W_\psi \leq \tilde{c}_3(n,r(\epsilon))\epsilon^{-[1+\log_2(n+1)]/2}$和$W_\phi \leq \tilde{c}_4(n,r(\epsilon))\epsilon^{-1/2}$。

实验结果

研究问题

• RQ1 深度ReLU网络能否以小于$\mathcal{O}(\epsilon^{-n})$的规模增长，实现对多元函数的$\epsilon$误差逼近？
• RQ2 如何构造性地利用柯尔莫哥洛夫–阿诺尔德叠加定理，以在深度学习中缓解维度灾难？
• RQ3 逼近叠加表示中内函数和外函数所需的最小网络深度和规模是多少，且能以受控误差实现？
• RQ4 是否可将逼近误差分解，并通过分别控制内函数和外函数的逼近误差来实现整体误差界？

主要发现

• 对于某一类连续多元函数，深度ReLU网络可实现$\epsilon$误差逼近，且网络规模为$\mathcal{O}(\epsilon^{-\log n})$，显著缓解了维度灾难。
• 逼近内函数$\psi$的网络规模量级为$\tilde{c}_3(n,r(\epsilon))\epsilon^{-[1+\log_2(n+1)]/2}$，显式依赖于维度$n$和函数正则性$r(\epsilon)$。
• 逼近外函数$\phi_j$的网络规模量级为$\tilde{c}_4(n,r(\epsilon))\epsilon^{-1/2}$，其指数部分与维度无关。
• 总网络规模满足$W \leq n(2n+1)W_\psi + (2n+1)W_\phi$，深度满足$L \leq c_0(1)(W_\psi + W_\phi)$。
• 通过平衡内函数和外函数的逼近误差，实现误差界：设定$\epsilon_\psi$和$\epsilon_\phi$以确保$\|f - \tilde{f}_r\|_{L^\infty} \leq \epsilon$。