[论文解读] Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions

E Weinan, Qingcan Wang|arXiv (Cornell University)|Jul 1, 2018

Neural Networks and Applications参考文献 7被引用 16

一句话总结

该论文证明，当在低维空间中逼近解析函数时，宽度固定为 $d+4$ 的深度神经网络可实现指数收敛速率。通过利用傅里叶分析与 ReLU 网络表示，证明了近似误差以 $\mathcal{O}(\varepsilon^{-\log(1/\varepsilon)})$ 的速率衰减，且深度随精度对数缩放，展示了深度网络相较于浅层网络在光滑函数逼近中的根本优势。

ABSTRACT

We prove that for analytic functions in low dimension, the convergence rate of the deep neural network approximation is exponential.

研究动机与目标

• 建立深度神经网络相较于浅层网络在光滑函数逼近方面优越能力的理论基础。
• 证明深度网络可对解析函数实现指数收敛速率，尤其在低维设置下。
• 构建宽度固定为 $d+4$ 的深度 ReLU 网络，使其以误差容限的对数尺度随深度增长来逼近解析函数。
• 通过将 Barron 的单隐层结果扩展至深度架构，弥合通用逼近定理与收敛速率之间的差距。

提出的方法

• 构建具有跳跃连接且宽度固定为 $d+4$ 的深度 ReLU 网络，以表示类 $\mathcal{F}_{L,M}(\mathbb{R}^d)$ 中的函数。
• 利用函数的傅里叶表示定义一个量 $C_{f,B}$，用于在紧致域 $B$ 上有界 $L^2$-范数下的近似误差。
• 应用 Barron 对单隐层、带 Sigmoid 激活函数网络的结果，证明 $L^2$-误差以 $\mathcal{O}(n^{-1})$ 的速率衰减，其中 $n$ 为隐藏节点数。
• 通过逐层分解的方式将浅层 ReLU 网络转换为深层网络，保持近似精度的同时支持基于深度的分析。
• 建立深度网络在 $L$ 层、宽度为 $M+d+1$ 时，误差为 $\mathcal{O}((ML)^{-1/2})$，当 $M$ 固定且 $L \sim \log(1/\varepsilon)$ 时，实现指数收敛。
• 证明对于解析函数，参数数量为 $\mathcal{O}((M+d)^2 L)$，当 $M = d$ 时，误差率变为 $\mathcal{O}((N/d)^{-1/2})$，与浅层网络速率一致，但采用更深的架构。

实验结果

研究问题

• RQ1 在低维空间中，深度神经网络能否对解析函数实现指数收敛速率？
• RQ2 对于解析函数，深度网络的深度如何随期望近似精度 $\varepsilon$ 变化？
• RQ3 在光滑函数的深度网络中，参数数量与近似误差之间存在何种关系？
• RQ4 浅层网络的通用逼近性质能否扩展至具有可证明收敛速率的深层网络？

主要发现

• 对于低维空间中的解析函数，宽度固定为 $d+4$ 的深度神经网络可实现指数收敛：当误差容限为 $\varepsilon$ 时，深度以 $\mathcal{O}(\log(1/\varepsilon))$ 的速率增长。
• $L^2$-近似误差被限制在 $\mathcal{O}((ML)^{-1/2})$，其中 $M$ 为宽度，$L$ 为深度，当 $M$ 固定且 $L \sim \log(1/\varepsilon)$ 时，实现指数衰减。
• 具有 $L$ 层和宽度 $M+d+1$ 的深度 ReLU 网络可对 $\mathcal{F}_{L,M}(\mathbb{R}^d)$ 中的任意函数实现误差 $\leq \frac{8C_{f,B}^2}{ML}$，其中 $C_{f,B}$ 依赖于 $f$ 的傅里叶变换。
• 网络中的参数数量为 $\mathcal{O}((M+d)^2 L)$，当 $M = d$ 时，误差率变为 $\mathcal{O}((N/d)^{-1/2})$，与浅层网络一致，但采用更深的架构。
• 该构造表明，深度网络可在保持与浅层网络相同收敛速率的同时，通过增加深度实现更高效的参数-精度比例。
• 结果表明，对于解析函数，深度网络具有根本性优势，因为指数收敛意味着相比浅层网络的多项式速率，误差衰减显著更快。