[论文解读] Analysis of Deep Neural Networks with Quasi-optimal polynomial approximation rates

Joseph Daws, Clayton Webster|arXiv (Cornell University)|Dec 4, 2019

Neural Networks and Applications参考文献 15被引用 4

一句话总结

该论文构建了一个深度神经网络（DNN），通过多项式基展开实现了对高维函数的准最优逼近率。通过利用多项式系数的有界值而非精确值，该网络在项数 M 上实现了次指数级误差衰减，且复杂度为 M 的代数函数，其性能在温和的正则性假设下与最优 M 项多项式逼近相当。

ABSTRACT

We show the existence of a deep neural network capable of approximating a wide class of high-dimensional approximations. The construction of the proposed neural network is based on a quasi-optimal polynomial approximation. We show that this network achieves an error rate that is sub-exponential in the number of polynomial functions, $M$, used in the polynomial approximation. The complexity of the network which achieves this sub-exponential rate is shown to be algebraic in $M$.

研究动机与目标

• 建立一个 DNN，其对高维函数的逼近误差率与准最优 M 项多项式逼近相当。
• 基于多项式逼近理论，提出一种构造性方法来构建 DNN，避免依赖于系数的精确值。
• 以 M（多项式项数）为变量，分析网络的逼近误差与计算复杂度。
• 通过展示 DNN 可以继承多项式展开的收敛速率，弥合经典逼近理论与深度学习之间的鸿沟。

提出的方法

• 网络架构由多个子网络构成，每个子网络 Ũν 用于逼近一个单项式基函数 Ψν，其中 ν 属于一个准最优索引集 ΛM。
• 每个子网络 Ũν 使用基于假设 2 中有界系数估计的构造方法，逼近张量积多项式 Ψν。
• 通过三角不等式控制逼近误差：||u - uNN|| ≤ ||u - uΛM|| + ||uΛM - uNN||，其中第一项由准最优多项式逼近理论控制。
• 利用关于系数衰减函数 b(ν) 的对数估计，对每个子网络 Ũν 的复杂度和深度进行有界，从而确保整体网络复杂度为 O(M^{2/d + 1})。
• 最终网络 uNN 由 M 个此类子网络组合而成，每个子网络的权重为 cν，并通过最后一层将各子网络的输出相加。
• 该构造依赖于通过 b(ν) 对系数 cν 的统一有界性，从而在无需精确计算系数的情况下实现误差控制。

实验结果

研究问题

• RQ1 能否构建一个 DNN，使其对高维函数的逼近误差率与准最优 M 项多项式逼近相当？
• RQ2 此类 DNN 的计算复杂度（深度与大小）在 M（多项式项数）上的表现如何？
• RQ3 网络的误差如何依赖于多项式系数的衰减速率，该速率由 b(ν) 衡量？
• RQ4 是否可以在不依赖多项式系数精确值的前提下构建该网络，而仅使用其有界值？
• RQ5 所构建的 DNN 是否继承了底层多项式逼近的次指数收敛速率？

主要发现

• 所构建的 DNN 实现了关于 M 的次指数误差界，与最优 M 项多项式逼近的理论最佳速率一致。
• 网络的整体复杂度为 O(M^{2/d + 1})，在 M 上为代数复杂度，即使在高维情形下也具有实际可行性。
• 网络深度以 O(M^{1/d} log M) 增长，为次多项式，对中等规模的 M 值而言是可管理的。
• 该方法通过利用 b(ν) 对 cν 的有界性，避免了对系数精确值的需求，使其适用于系数难以计算的问题。
• 网络的误差界通过三角不等式推导，第一项由准最优多项式逼近的已知结果控制，第二项通过子网络构造实现有界。
• 该构造是完全显式的：所有网络参数（权重与偏置）均基于准最优索引集 ΛM 和系数有界性定义。