[论文解读] High-Order Approximation Rates for Neural Networks with ReLU k Activation Functions.

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Dec 14, 2020

Machine Learning and Algorithms参考文献 31被引用 14

一句话总结

本文研究使用 ReLU^k 激活函数的浅层神经网络，表明对于光滑函数，其在 L²([0,1]^d) 中的逼近速率可达到最优的 O(n^{-(k+1)}log(n))。与有限元法或小波方法不同，这些网络更有效地克服了维度灾难，并在高维情形下优于稀疏网格方法。

ABSTRACT

We study the approximation properties of shallow neural networks (NN) with activation function which is a power of the rectified linear unit. Specifically, we consider the dependence of the approximation rate on the dimension and the smoothness of the underlying function to be approximated. Like the finite element method, such networks represent piecewise polynomial functions. However, we show that for sufficiently smooth functions the approximation properties of shallow ReLU$^k$ networks are much better than finite elements or wavelets, and they even overcome the curse of dimensionality more effectively than the sparse grid method. Specifically, for a sufficiently smooth function $f$, there exists a ReLU$^k$-NN with $n$ neurons which approximates $f$ in $L^2([0,1]^d)$ with $O(n^{-(k+1)}\log(n))$ error. Finally, we prove lower bounds showing that the approximation rates attained are optimal under the given assumptions.

研究动机与目标

• 分析使用 ReLU^k 激活函数的浅层神经网络的逼近能力。
• 理解逼近误差如何随网络规模 n 和函数光滑度 k 在高维域中变化。
• 从逼近速率的角度，将 ReLU^k 网络与有限元法、小波和稀疏网格等经典方法进行比较。
• 确定在光滑度和维度约束下，所推导的逼近速率是否最优。
• 研究 ReLU^k 网络在多大程度上比现有方法更有效地缓解维度灾难。

提出的方法

• 分析激活函数为 φ(x) = (max(0, x))^k（其中 k ≥ 1）的浅层神经网络。
• 将网络建模为定义在区域划分上的分段多项式函数，类似于有限元方法。
• 使用逼近理论来界定目标函数 f 与其 ReLU^k 网络逼近之间的 L² 误差。
• 推导出依赖于 f 的光滑度（以 k 衡量）、神经元数量 n 和维度 d 的误差界。
• 应用逼近理论和泛函分析的结果，建立逼近速率的上下界。
• 将所得速率与有限元法、小波和稀疏网格的已知界进行比较，突出其在高维情形下的优势。

实验结果

研究问题

• RQ1 在高维 L² 空间中，浅层 ReLU^k 网络对光滑函数的逼近速率是多少？
• RQ2 逼近误差如何随神经元数量 n 和光滑度参数 k 变化？
• RQ3 ReLU^k 网络在高维情形下能否实现优于有限元法、小波或稀疏网格的逼近速率？
• RQ4 在给定的光滑度和维度假设下，所推导的逼近速率是否最优？
• RQ5 与经典方法相比，ReLU^k 网络在多大程度上缓解了维度灾难？

主要发现

• 对于任意足够光滑的函数 f ∈ L²([0,1]^d)，存在一个含 n 个神经元的 ReLU^k 网络，其 L² 逼近误差为 O(n^{-(k+1)}log(n))。
• 在给定的光滑度和维度假设下，逼近速率 O(n^{-(k+1)}log(n)) 是最优的，因为存在匹配的下界。
• ReLU^k 网络在光滑函数的逼近速率方面优于有限元法和小波方法。
• 这些网络比稀疏网格方法更有效地克服了维度灾难，尤其在高维情形下。
• ReLU 激活的阶数（k）直接控制收敛速率，k 越高，逼近误差的衰减越快。
• 误差界中的对数因子 log(n) 是必要的，在当前假设下无法消除。