[论文解读] Deep ReLU networks lessen the curse of dimensionality

Hadrien Montanelli, Qiang Du|arXiv (Cornell University)|Dec 23, 2017

Neural Networks and Applications参考文献 17被引用 19

一句话总结

该论文表明，通过利用稀疏网格结构，深度ReLU网络能够缓解在逼近多变量函数时的维度灾难问题。它建立了随维度增长有利的改进误差界，表明在高维设置下，深度网络的逼近速率优于经典方法。

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks. We present new error estimates for which the curse of the dimensionality is lessened by establishing a connection with sparse grids.

研究动机与目标

• 研究深度ReLU网络是否能够克服在逼近高维函数时的维度灾难问题。
• 与经典方法相比，为使用深度ReLU网络进行函数逼近建立更紧致的误差界。
• 将深度网络逼近与稀疏网格理论相联系，以降低高维情况下的计算复杂度。
• 证明深度网络在收敛速率方面优于浅层网络或标准逼近方案。

提出的方法

• 作者采用构造性方法，构建深度ReLU网络，利用层次化稀疏网格分解来逼近多变量函数。
• 他们将目标函数分解为一系列层次化余项，每个余项由稀疏网格层级上的浅层ReLU网络进行逼近。
• 网络架构的设计利用了网格的稀疏性，从而减少了高维逼近所需的参数数量。
• 通过分析每个稀疏网格层级上的逼近误差，并将各层级的贡献相加以推导误差估计。
• 分析将网络深度与网格稀疏性联系起来，表明更深的网络能够实现更高的逼近效率。
• 关键的理论工具包括使用分段线性细化和ReLU激活函数来表示层次化基函数。

实验结果

研究问题

• RQ1 深度ReLU网络能否在多变量函数逼近中缓解维度灾难？
• RQ2 在高维情况下，深度ReLU网络的误差界与浅层网络或经典方法相比如何？
• RQ3 稀疏网格在使深度ReLU网络实现高效逼近中起到什么作用？
• RQ4 能否将深度网络的逼近速率与底层网格结构的稀疏性进行定量关联？

主要发现

• 深度ReLU网络实现了随维度亚指数增长的逼近误差界，显著缓解了维度灾难。
• 误差界取决于网格的稀疏性以及目标函数的光滑性，在与标准张量积网格相比具有更优的逼近速率。
• 该构造表明，相比浅层网络，更深的网络能以更少的参数表示高维函数。
• 理论框架表明，在有利情况下，深度网络可在高维函数逼近中实现与维度无关的误差衰减速率。