[论文解读] Deep ReLU networks overcome the curse of dimensionality for bandlimited functions

Hadrien Montanelli, Haizhao Yang+1 more|arXiv (Cornell University)|Jan 1, 2019

Neural Networks and Applications参考文献 22被引用 35

一句话总结

本文通过利用 Maurey 定理以及对切比雪夫多项式和解析函数的高效逼近，证明了深度 ReLU 网络能够克服广义带限函数的维度灾难。研究建立表明，在 $L^2$-范数下实现精度 $5c$ 的逼近，所需深度 $L = O(\log^2(1/\epsilon))$ 且宽度 $W = O(\epsilon^{-2} \log^2(1/\epsilon))$，对于单位立方体上的带限函数，该结果与维度无关。

ABSTRACT

We prove a theorem concerning the approximation of bandlimited multivariate functions by deep ReLU networks for which the curse of the dimensionality is overcome. Our theorem is based on a result by Maurey and on the ability of deep ReLU networks to approximate Chebyshev polynomials and analytic functions efficiently.

研究动机与目标

• 解决使用深度神经网络进行高维函数逼近时的维度灾难问题。
• 为广义带限函数建立深度 ReLU 网络逼近能力的理论边界。
• 证明深度 ReLU 网络能够为此类函数实现与维度无关的逼近速率。
• 通过利用组合结构和高效乘法网络，将现有浅层网络结果扩展至深层架构。

提出的方法

• 利用 Maurey 定理，通过函数类的熵数来界定逼近误差。
• 构建深度 ReLU 网络，通过二元乘法单元的递归组合，高效逼近多元单项式 $x_1 \cdots x_d$。
• 采用一种网络架构，使切比雪夫多项式与解析函数的逼近深度和宽度均随精度倒数的对数呈对数增长。
• 将单项式逼近结构应用于构造具有有界系数的一般多项式逼近网络。
• 利用带限函数以傅里叶变换积分为形式表达的结构，将核函数逼近与网络设计相联系。
• 通过结合多项式逼近与测度相关常数，推导出在 $L^2(B, \mu)$-范数下的误差界。

实验结果

研究问题

• RQ1 深度 ReLU 网络能否在高维下克服带限函数的维度灾难？
• RQ2 为实现对带限函数的精度 $5c$ 逼近，深度 ReLU 网络所需的最小深度与宽度是多少？
• RQ3 对于该类函数，逼近误差如何随精度 $5c$ 和维度 $d$ 变化？
• RQ4 深度 ReLU 网络能否高效逼近定义广义带限函数的核函数 $K(w \cdot x)$？
• RQ5 切比雪夫多项式与解析函数逼近在实现与维度无关的误差界中起到什么作用？

主要发现

• 深度 ReLU 网络在 $L^2$-范数下对广义带限函数的逼近误差为 $5c$，所需深度 $L = O(\log^2(1/\epsilon))$，宽度 $W = O(\epsilon^{-2} \log^2(1/\epsilon))$，且与维度 $d$ 无关。
• 在 $[-M,M]^d$ 上，对乘积 $x_1 \cdots x_d$ 的逼近误差被 $5c$ 控制，所用网络的深度与宽度为 $O(d \log^2(d/\epsilon) + d^2 \log^2 M)$。
• 系数有界的 $n$ 次多项式可用深度与宽度为 $O(n \log^2(Cn/\epsilon) + n^2 \log^2 M)$ 的网络逼近至精度 $5c$。
• 深度 ReLU 网络对解析函数与切比雪夫多项式的逼近，使得带限函数的高效逼近器得以构建。
• 在单位立方体 $B = [0,1]^d$ 上，于概率测度 $b5$ 下，误差界与维度 $d$ 无关，从而克服了维度灾难。
• 理论框架表明，与浅层网络相比，极深网络在逼近效率与并行计算性能方面均更优。