[论文解读] Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics

Taiji Suzuki|arXiv (Cornell University)|Jul 11, 2020

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一种新颖的框架，通过将权重优化建模为无限维朗之万动力学下的传输映射估计，实现对有限宽度和无限宽度神经网络的全局收敛性，并获得快速的一般化误差界。该框架实现了快速学习率，包括分类任务中的指数收敛以及回归任务中的极小极大最优率。

ABSTRACT

We introduce a new theoretical framework to analyze deep learning optimization with connection to its generalization error. Existing frameworks such as mean field theory and neural tangent kernel theory for neural network optimization analysis typically require taking limit of infinite width of the network to show its global convergence. This potentially makes it difficult to directly deal with finite width network; especially in the neural tangent kernel regime, we cannot reveal favorable properties of neural networks beyond kernel methods. To realize more natural analysis, we consider a completely different approach in which we formulate the parameter training as a transportation map estimation and show its global convergence via the theory of the infinite dimensional Langevin dynamics. This enables us to analyze narrow and wide networks in a unifying manner. Moreover, we give generalization gap and excess risk bounds for the solution obtained by the dynamics. The excess risk bound achieves the so-called fast learning rate. In particular, we show an exponential convergence for a classification problem and a minimax optimal rate for a regression problem.

研究动机与目标

• 通过统一有限宽度与无限宽度网络的分析，弥合深度学习泛化理论分析中的空白。
• 克服现有框架（如平均场理论和神经正切核（NTK））在实现全局收敛时需依赖无限宽度的局限性。
• 提供一种可实现快速学习率的一般化误差界，避免NTK框架下核方法的局限性。
• 在不依赖过参数化或与维度相关的收敛率的前提下，实现对深度网络非凸优化的分析。
• 通过与非参数贝叶斯估计的关联，弥合深度学习中优化与泛化理论理解之间的鸿沟。

提出的方法

• 将深度学习训练建模为参数空间中的传输映射估计问题，将网络权重视为再生核希尔伯特空间（RKHS）中的元素。
• 应用无限维朗之万动力学求解传输映射估计，利用随机动力学确保全局收敛。
• 利用麦克斯韦-弗拉索夫动力学理论与遍历性，建立不依赖于网络宽度的全局收敛性。
• 将解与非参数贝叶斯高斯过程估计器关联，推导一般化误差界。
• 采用学生-教师设置与基于RKHS的正则化，控制一般化误差中的偏差与方差项。
• 通过分析正则化参数、样本量与核算子特征值衰减之间的相互作用，推导收敛速率。

实验结果

研究问题

• RQ1 能否在不依赖无限宽度的前提下，建立非凸深度学习优化的全局收敛性？
• RQ2 能否在统一框架下，为窄网络与宽网络均推导出实现快速学习率的一般化误差界？
• RQ3 所提出的基于朗之万动力学的方法在泛化与收敛性方面，相较于NTK与平均场理论有何差异？
• RQ4 无限维朗之万动力学的解与非参数贝叶斯估计之间存在何种关系？
• RQ5 该框架能否在回归任务中实现极小极大最优率，在分类任务中实现指数收敛？

主要发现

• 所提出的框架利用无限维朗之万动力学，实现了对有限宽度与无限宽度神经网络的全局收敛，且收敛速率与网络规模无关。
• 对于回归任务，过剩风险界达到了极小极大最优率，证实了其统计效率。
• 在学生-教师设置下，分类任务的一般化误差实现了指数级快速收敛，表明其具有优异的泛化性能。
• 一般化误差界实现了快速学习率，过剩风险以 $ \max\{\lambda^{-\tilde{\alpha}}\beta^{-1}, \lambda^{\theta}, n^{-\frac{1}{2-s}}\} $ 的形式衰减，体现出对样本量与正则化参数的有利依赖。
• 该框架通过避免使用无限宽度极限，统一了对窄网络与宽网络的分析，与平均场理论和NTK理论形成对比。
• 证明了朗之万动力学的解与非参数贝叶斯高斯过程估计器密切相关，从而实现了紧致的一般化误差界。