[论文解读] A Priori Estimates for Two-layer Neural Networks

E Weinan, Chao Ma+1 more|arXiv (Cornell University)|Oct 15, 2018

Nuclear reactor physics and engineering被引用 7

一句话总结

该论文为两层神经网络建立了先验估计，其误差率几乎与蒙特卡洛方法相当，提供了与模型参数无关的最优泛化界。这些界揭示了为何在过参数化和标准设置下，两层网络能更有效地捕捉函数复杂度，从而优于核方法。

ABSTRACT

New estimates for the population risk are established for two-layer neural networks. These estimates are nearly optimal in the sense that the error rates scale in the same way as the Monte Carlo error rates. They are equally effective in the over-parametrized regime when the network size is much larger than the size of the dataset. These new estimates are a priori in nature in the sense that the bounds depend only on some norms of the underlying functions to be fitted, not the parameters in the model, in contrast with most existing results which are a posteriori in nature. Using these a priori estimates, we provide a perspective for understanding why two-layer neural networks perform better than the related kernel methods.

研究动机与目标

• 开发仅依赖于函数范数而非模型参数的两层神经网络先验泛化界。
• 通过理论分析解释两层网络相较于核方法的实证成功。
• 建立与蒙特卡洛采样同阶的近乎最优误差率，即使在过参数化设置下亦成立。
• 提供一个无需依赖学习参数的过参数化神经网络泛化理论框架。

提出的方法

• 使用目标函数的范数（如索博列夫范数或变差范数）推导总体风险界，以确保先验有效性。
• 从函数复杂度而非网络参数的角度分析泛化误差，从而实现与模型架构无关的界。
• 建立与蒙特卡洛采样同阶的误差率，表明其近乎最优性。
• 利用泛函分析和逼近论，将网络容量与目标函数的光滑性和正则性联系起来。
• 将推导出的界与核方法的界进行比较，突出神经网络在捕捉复杂高维函数方面的优势。

实验结果

研究问题

• RQ1 两层神经网络的先验泛化界与蒙特卡洛误差率相比，在最优性方面如何？
• RQ2 尽管具有相似的归纳偏置，为何两层神经网络的泛化性能优于核方法？
• RQ3 能否仅使用函数范数而不依赖模型参数来界定泛化误差？
• RQ4 在先验界下，过参数化在两层网络性能中起到什么作用？
• RQ5 所推导的界如何解释神经网络在高维函数逼近中的实证优越性？

主要发现

• 所提出的先验界与蒙特卡洛误差率同阶，表明泛化性能近乎最优。
• 这些界与模型参数无关，仅依赖于目标函数的正则性，如其索博列夫范数或变差范数。
• 在过参数化设置下，界依然紧密且有效，表明对模型规模具有鲁棒性。
• 该理论框架解释了为何两层神经网络优于核方法：其能更高效地适应函数的内在复杂度。
• 研究结果为泛化提供了新视角，将关注点从依赖参数的界转向基于函数的复杂度度量。