[论文解读] Deep Neural Networks Learn Non-Smooth Functions Effectively

Masaaki Imaizumi, Kenji Fukumizu|arXiv (Cornell University)|Feb 13, 2018

Neural Networks and Applications被引用 25

一句话总结

本文证明了使用ReLU激活函数的深度神经网络（DNNs）在估计非光滑及分段光滑函数时，可实现近乎最优的收敛速率，优于标准方法（如核估计和序列估计）。理论上，DNNs的泛化误差率为$ O\left(\max\left\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/\left(\alpha+D-1\right)}\right\} \right) $，该速率对该类函数为极小极大最优，并提供了实现该速率的深度与宽度设计准则。

ABSTRACT

We theoretically discuss why deep neural networks (DNNs) performs better than other models in some cases by investigating statistical properties of DNNs for non-smooth functions. While DNNs have empirically shown higher performance than other standard methods, understanding its mechanism is still a challenging problem. From an aspect of the statistical theory, it is known many standard methods attain the optimal rate of generalization errors for smooth functions in large sample asymptotics, and thus it has not been straightforward to find theoretical advantages of DNNs. This paper fills this gap by considering learning of a certain class of non-smooth functions, which was not covered by the previous theory. We derive the generalization error of estimators by DNNs with a ReLU activation, and show that convergence rates of the generalization by DNNs are almost optimal to estimate the non-smooth functions, while some of the popular models do not attain the optimal rate. In addition, our theoretical result provides guidelines for selecting an appropriate number of layers and edges of DNNs. We provide numerical experiments to support the theoretical results.

研究动机与目标

• 为了解决实践中DNNs在非光滑函数估计中优于标准模型的理论空白，特别是针对非光滑函数的情形。
• 分析DNNs在学习分段光滑函数时的泛化误差，这类函数未被先前基于光滑度的理论完全覆盖。
• 证明DNNs在非光滑函数上可实现极小极大最优的收敛速率，而核方法与序列方法则不能。
• 推导出实现最优估计性能所需的DNN深度与宽度的实际设计规则。

提出的方法

• 使用最小二乘和贝叶斯估计器，结合ReLU激活函数，对DNN泛化误差进行理论分析。
• 推导DNN在非光滑回归中的收敛速率，参数化为光滑度参数$\alpha$和$\beta$以及输入维度$D$。
• 利用正交基分解（如三角函数基）分析核方法与序列估计器等标准方法的下界。
• 应用极小极大理论，证明DNNs可达到最优速率$ O\left(\max\left\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/\left(\alpha+D-1\right)}\right\} \right) $，仅相差对数因子。
• 推导架构约束：层数$ \leq c(1+\max\{\beta/D, \alpha/(2(D-1))\}) $，参数数$ \leq c' n^{\max\{D/(2\beta+D), (D-1)/(\alpha+D-1)\}} $。
• 通过数值实验验证理论收敛速率，并与标准模型进行性能比较。

实验结果

研究问题

• RQ1 DNNs能否在非光滑、分段光滑函数上实现最优收敛速率，而标准模型则无法实现？
• RQ2 DNNs在学习此类非光滑函数时，其理论泛化误差率是多少？
• RQ3 光滑度参数$\alpha$和$\beta$以及输入维度$D$如何影响DNNs的收敛速率？
• RQ4 为何DNNs在估计非光滑函数时优于核方法与序列方法，尽管在光滑函数上性能相近？
• RQ5 为实现最优估计速率，DNNs所需的架构选择（深度与宽度）是什么？

主要发现

• DNNs在非光滑函数上的泛化误差率为$ O\left(\max\left\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/\left(\alpha+D-1\right)}\right\} \right) $，该速率在对数因子内为极小极大最优。
• 该最优速率无法被标准方法（如核方法或正交序列估计器）实现，后者因对不连续性的表示能力差而收敛更慢。
• 当$ D=1 $时，正交序列估计器的下界为$ \Omega(n^{-2/3}) $，而DNNs达到$ O(n^{-2/3}) $，与最优速率一致。
• 对于一般$ D \geq 2 $，序列估计器的下界为$ \Omega(n^{-2/(2+D)}) $，而DNNs实现了相同速率，证实了极小极大最优性。
• DNNs所需的层数受$ c(1+\max\{\beta/D, \alpha/(2(D-1))\}) $限制，确保达到最优收敛。
• 为实现最优速率，参数数量必须按$ c' n^{\max\{D/(2\beta+D), (D-1)/(\alpha+D-1)\}} $的量级增长，从而提供实际设计指导。