[论文解读] High-dimensional approximation spaces of artificial neural networks and applications to partial differential equations

Pierfrancesco Beneventano, Patrick Cheridito+2 more|arXiv (Cornell University)|Dec 8, 2020

Model Reduction and Neural Networks参考文献 36被引用 5

一句话总结

本文引入人工神经网络（ANN）的逼近空间，以严格分析其在无维度灾难条件下逼近高维函数的能力。研究证明这些空间在线性组合、极限和无限复合运算下封闭，并将该框架应用于证明修正线性单元（ReLU）神经网络可实现一阶输运PDE解的逼近，且参数数量随维度和逆精度呈多项式增长，从而克服维度灾难。

ABSTRACT

In this paper we develop a new machinery to study the capacity of artificial neural networks (ANNs) to approximate high-dimensional functions without suffering from the curse of dimensionality. Specifically, we introduce a concept which we refer to as approximation spaces of artificial neural networks and we present several tools to handle those spaces. Roughly speaking, approximation spaces consist of sequences of functions which can, in a suitable way, be approximated by ANNs without curse of dimensionality in the sense that the number of required ANN parameters to approximate a function of the sequence with an accuracy $\varepsilon > 0$ grows at most polynomially both in the reciprocal $1/\varepsilon$ of the required accuracy and in the dimension $d \in \mathbb{N} = \{1, 2, 3, \ldots \}$ of the function. We show that these approximation spaces are closed under various operations including linear combinations, formations of limits, and infinite compositions. To illustrate the utility of the machinery proposed in this paper, we employ the developed theory to prove that ANNs have the capacity to overcome the curse of dimensionality in the numerical approximation of certain first order transport partial differential equations (PDEs). We even prove that approximation spaces are closed under flows of first order transport PDEs.

研究动机与目标

• 开发一个理论框架，用于分析人工神经网络（ANN）在高维函数空间中的逼近能力。
• 定义并研究ANN逼近空间，这些空间在诸如线性组合、极限和无限复合等关键运算下具有封闭性。
• 建立ANN可在不遭受维度灾难的情况下逼近一阶输运PDE解的结论。
• 证明此类PDE的解流保持在所定义的逼近空间内，从而实现高效的数值逼近。

提出的方法

• 引入ANN逼近空间的概念，即一类可通过维度和逆精度的多项式参数增长来逼近的函数序列。
• 通过定义函数族和维度映射，形式化高维函数序列的行为。
• 建立封闭性性质：逼近空间在线性组合、逐点极限和ANN的无限复合运算下封闭。
• 在这些空间内开发欧拉逼近格式，以模拟时间演化PDE解的动态。
• 利用修正线性单元（ReLU）构建显式ANN逼近，并以参数数量和精度为条件证明误差界。
• 通过证明PDE流算子在弱正则性条件下保持逼近空间中的成员资格，将理论应用于一阶输运PDE。

实验结果

研究问题

• RQ1 人工神经网络是否可在无维度灾难的条件下逼近高维函数？若可，其条件为何？
• RQ2 ANN逼近空间具有何种结构性质，特别是其在诸如线性组合和极限等运算下的封闭性？
• RQ3 一阶输运PDE的解流是否可被表示并近似为所定义逼近空间内的ANN？
• RQ4 此类PDE的ANN逼近参数复杂度如何随精度和维度变化？
• RQ5 ReLU激活的网络能否在逼近PDE解时实现参数数量的多项式增长，从而克服维度灾难？

主要发现

• ANN逼近空间在在线性组合下封闭，确保可逼近函数的线性组合仍可逼近，且参数数量不会发生指数级膨胀。
• 逼近空间在逐点极限下封闭，允许逼近作为ANN序列极限定义的函数。
• 空间内ANN的无限复合仍保持在逼近空间内，从而可建模复杂且迭代的映射。
• 一阶输运PDE的解流将逼近空间内的函数映射到同一空间内的其他函数，保持结构不变。
• 对于ReLU激活的网络，逼近一阶输运PDE解所需的参数数量在逆精度ε和维度d上至多呈多项式增长，且提供了明确的指数界。
• 推导出具体的参数增长速率：例如，在给定正则性和逼近条件下，参数数量按ε^{-1 - 2r₀(κ+2)/(1−ρκ)} d^{8+α+2r₁+2r₀(α(κ+1)+βκ)/(1−ρκ)} 规律增长。