[论文解读] The phase diagram of approximation rates for deep neural networks

Dmitry Yarotsky, Anton Zhevnerchuk|arXiv (Cornell University)|Jun 22, 2019

Machine Learning in Materials Science参考文献 25被引用 30

一句话总结

本文建立了深度神经网络近似率的相图，证明了ReLU网络在 $ r $-光滑函数下可实现高达 $ r/d $ 的最优近似率，而具有分段多项式激活函数的网络也具有相同的相图。此外，本文进一步表明，具有周期性激活函数的深度傅里叶网络通过高精度权重编码实现高效查找操作，可实现近乎指数级的近似率。

ABSTRACT

We explore the phase diagram of approximation rates for deep neural networks and prove several new theoretical results. In particular, we generalize the existing result on the existence of deep discontinuous phase in ReLU networks to functional classes of arbitrary positive smoothness, and identify the boundary between the feasible and infeasible rates. Moreover, we show that all networks with a piecewise polynomial activation function have the same phase diagram. Next, we demonstrate that standard fully-connected architectures with a fixed width independent of smoothness can adapt to smoothness and achieve almost optimal rates. Finally, we consider deep networks with periodic activations ("deep Fourier expansion") and prove that they have very fast, nearly exponential approximation rates, thanks to the emerging capability of the network to implement efficient lookup operations.

研究动机与目标

• 系统分析网络复杂度、网络结构、激活函数与近似精度之间权衡的极限。
• 确定不同函数类下深度网络近似率的理论边界。
• 在不同网络条件下，识别可行与不可行近似率的相图。
• 证明固定宽度的全连接网络可适应光滑度并实现近乎最优的近似率。
• 表明具有周期性激活函数的深度傅里叶网络可实现近乎指数级的收敛速率。

提出的方法

• 将先前关于ReLU网络中深度不连续相的研究推广至任意正光滑度 $ r $，通过使用权重的二进制表示实现高精度近似。
• 构建一种网络结构，通过位提取在每个区域块中仅用一个权重编码函数值，从而实现高阶近似。
• 利用基于近似奇偶函数 $ \widetilde{\theta}_a(x) = \min(1, \max(-1, a\sigma(x))) $ 的单位分解，隔离互不相交的立方体区域块，避免边界干扰。
• 使用ReLU子网络实现乘法与加法运算，以组合滤波后的近似结果，每项操作的复杂度为 $ O(\log(1/\epsilon)) $。
• 证明权重中编码的总信息量按 $ \epsilon^{-d/r} \log(1/\epsilon) $ 缩放，从而在傅里叶网络中实现近乎指数级的近似率。
• 通过分析激活函数的作用，表明所有具有分段多项式激活函数的网络均具有相同的近似率相图。

实验结果

研究问题

• RQ1 深度神经网络在光滑度 $ r $、深度、宽度及激活函数类型下，其近似率的理论极限是什么？
• RQ2 固定宽度的全连接网络能否适应不同函数光滑度并实现近乎最优的近似率？
• RQ3 激活函数结构（特别是分段多项式与周期性）在决定近似率相图中的作用是什么？
• RQ4 高精度权重表示如何在深度傅里叶网络中实现近乎指数级的近似率？
• RQ5 在连续性与VC维约束下，可行与不可行近似率的边界是什么？

主要发现

• ReLU网络的近似率相图被推广至任意正光滑度 $ r $，在连续权重分配下，最优率受 $ p = r/d $ 限制。
• 所有具有分段多项式激活函数的深度网络（包括ReLU）共享相同的相图，且在无连续性假设下，最大可行率可达 $ p = 2r/d $。
• 标准的全连接网络在宽度固定且与光滑度无关时，可适应 $ r $ 并实现任意接近 $ r/d $ 的近似率，与线性宽度界一致。
• 具有周期性激活函数的深度网络（
• 网络权重中编码的总信息量按 $ \epsilon^{-d/r} \log(1/\epsilon) $ 缩放，从而在深度傅里叶网络架构中实现近乎指数级的近似率。
• 通过使用具有过滤函数 $ \Psi_0, \Psi_1 $ 的单位分解，使区域块近似构造更加鲁棒，确保其具有不相交的支集并避免边界误差。