[论文解读] Function approximation by deep networks

H. N. Mhaskar, Tomaso Poggio|arXiv (Cornell University)|May 30, 2019

Neural Networks and Applications参考文献 21被引用 4

一句话总结

本文表明，通过利用目标函数层次结构与神经网络结构的相似性，深度神经网络在逼近可表示为简单函数有向无环图（DAG）的组合函数时，优于浅层网络。关键贡献是提出了‘误差良好传播’的理论框架，该框架在利普希茨连续性条件下，可将浅层网络的逼近定理推广至深层网络，同时表明标准机器学习泛化理论因缺乏组合性自然度量而失效。

ABSTRACT

We show that deep networks are better than shallow networks at approximating functions that can be expressed as a composition of functions described by a directed acyclic graph, because the deep networks can be designed to have the same compositional structure, while a shallow network cannot exploit this knowledge. Thus, the blessing of compositionality mitigates the curse of dimensionality. On the other hand, a theorem called good propagation of errors allows to `lift' theorems about shallow networks to those about deep networks with an appropriate choice of norms, smoothness, etc. We illustrate this in three contexts where each channel in the deep network calculates a spherical polynomial, a non-smooth ReLU network, or another zonal function network related closely with the ReLU network.

研究动机与目标

• 建立深度网络相较于浅层网络具有更优逼近能力的理论基础。
• 形式化目标函数中组合结构的作用，以及深度网络如何利用该结构。
• 提出并应用‘误差良好传播’定理，将浅层网络的逼近结果推广至深层网络。
• 研究经典机器学习泛化理论在组合函数背景下的局限性。
• 提供反向定理，将逼近速率与深层ReLU网络及相关网络中目标函数的光滑性联系起来。

提出的方法

• 提出以有向无环图（DAG）形式建模的组合函数结构，表示为组件函数的组合。
• 引入‘误差良好传播’定理，在组件函数满足利普希茨连续性条件下，实现从浅层网络到深层网络的逼近界转移。
• 使用球谐多项式、ReLU网络和环状函数网络作为具体实例，说明理论的应用。
• 以巴拿赫空间范数（特别是球面上的连续函数空间 C(S^q) 上的上确界范数）定义逼近误差。
• 应用宽度定理和反向定理，建立逼近速率的上下界。
• 采用非线性宽度和平滑性类 W^γ 来刻画逼近误差的衰减速率。

实验结果

研究问题

• RQ1 为何深度网络在某些函数类上能实现优于浅层网络的逼近速率？
• RQ2 如何系统性地将浅层网络逼近定理推广至深层网络？
• RQ3 目标函数中的组合结构在降低逼近误差方面起什么作用？
• RQ4 为何在组合函数背景下，经典的偏差-方差分解会失效？
• RQ5 能否通过逼近速率推断目标函数的光滑性类？

主要发现

• 当目标函数具有可表示为有向无环图（DAG）的组合结构时，深度网络的逼近速率优于浅层网络。
• ‘误差良好传播’定理在组件函数满足利普希茨连续性条件下，可将浅层网络的逼近定理推广至深层网络。
• 对于ReLU网络，平滑性类 W^γ 中函数的逼近误差衰减为 O(N^{-γ/q})，与已知下界一致。
• 反向定理表明，观测到的逼近速率意味着目标函数必须属于特定的光滑性类 W^γ。
• 标准 L2-范数泛化误差框架对组合函数不适用，原因在于缺乏自然的概率测度。
• 本框架中以最优速率逼近的函数类很可能是最优的，因为上界与已知下界一致。