[论文解读] Predicting the Outputs of Finite Networks Trained with Noisy Gradients

Gadi Naveh, Oded Ben-David+2 more|arXiv (Cornell University)|May 4, 2021

Gaussian Processes and Bayesian Inference参考文献 34被引用 8

一句话总结

本文提出了一种分析框架，用于预测使用噪声梯度、权重衰减和有限宽度训练的有限宽度深度神经网络（DNN）的输出——表明此类网络在无限宽度极限下收敛至神经网络高斯过程（NNGP），而非神经正切核（NTK）。该研究推导出适用于任意激活函数和深度的有限宽度修正（FWC），并证明其在预测实际网络输出方面具有高精度，且相较于高斯过程（GP）基线，FWC显著提升了图像分类任务中的性能。

ABSTRACT

A recent line of works studied wide deep neural networks (DNNs) by approximating them as Gaussian Processes (GPs). A DNN trained with gradient flow was shown to map to a GP governed by the Neural Tangent Kernel (NTK), whereas earlier works showed that a DNN with an i.i.d. prior over its parameters maps to the so-called Neural Network Gaussian Process (NNGP). Here we consider a DNN training protocol, involving noise, weight decay and finite width, whose outcome corresponds to a certain non-Gaussian stochastic process. An analytical framework is then introduced to analyze this non-Gaussian process, whose deviation from a GP is controlled by the finite width. Our contribution is three-fold: (i) In the infinite width limit, we establish a correspondence between DNNs trained with noisy gradients and the NNGP, not the NTK. (ii) We provide a general analytical form for the finite width correction (FWC) for DNNs with arbitrary activation functions and depth and use it to predict the outputs of empirical finite networks with high accuracy. Analyzing the FWC behavior as a function of n, the training set size, we find that it is negligible for both the very small n regime, and, surprisingly, for the large n regime (where the GP error scales as O(1/n)). (iii) We flesh-out algebraically how these FWCs can improve the performance of finite convolutional neural networks (CNNs) relative to their GP counterparts on image classification tasks.

研究动机与目标

• 理解使用噪声梯度和权重衰减训练的有限宽度DNN的统计行为，这些行为偏离了高斯过程（GP）行为。
• 在无限宽度极限下，建立此类DNN与神经网络高斯过程（NNGP）之间的理论对应关系。
• 推导适用于任意激活函数和网络深度的一般分析形式的有限宽度修正（FWC）。
• 量化FWC对有限网络预测性能的影响，特别是与GP近似方法的对比。
• 代数性地证明FWC如何提升卷积神经网络（CNN）在图像分类任务中的性能。

提出的方法

• 推导出在使用噪声梯度和权重衰减训练的DNN中，适用于任意激活函数和深度的有限宽度修正（FWC）的一般分析表达式。
• 通过在无限宽度极限附近进行微扰展开，建模与NNGP的偏离，捕捉由有限宽度引起的非高斯效应。
• 确立在无限宽度极限下，DNN输出分布收敛至NNGP，而非NTK，前提是采用给定的训练协议。
• 将FWC框架应用于高精度预测实际有限宽度网络的输出，该方法在多种架构和数据集上均得到验证。
• 分析FWC随训练集大小n的缩放行为，表明在小n和大n两种情形下修正量均可忽略。
• 代数性地证明FWC如何相对于其GP对应物提升卷积神经网络的泛化性能。

实验结果

研究问题

• RQ1 在无限宽度极限下，使用噪声梯度和权重衰减训练的DNN是否收敛至NNGP或NTK？
• RQ2 能否为任意激活函数和网络深度推导出有限宽度修正（FWC）的一般分析形式？
• RQ3 FWC如何随训练集大小n缩放？其在小n和大n情形下对预测精度的影响如何？
• RQ4 FWC在图像分类任务中，对有限CNN相对于其GP近似方法的性能提升程度如何？
• RQ5 如何将FWC代数性地整合到卷积架构的分析中，以解释其泛化能力超越GP模型的原因？

主要发现

• 在无限宽度极限下，使用噪声梯度和权重衰减训练的DNN收敛至神经网络高斯过程（NNGP），而非神经正切核（NTK）。
• 所推导的有限宽度修正（FWC）框架能高精度预测各种架构和激活函数下实际有限宽度网络的输出。
• 在小样本量（n）情形和大n情形下，FWC均可忽略，且GP误差随n呈O(1/n)缩放，表明对数据集大小具有鲁棒性。
• 尽管FWC的数值较小，但其显著提升了有限卷积神经网络（CNN）相对于其GP对应物在图像分类基准上的性能。
• FWC框架揭示了有限宽度效应并非微不足道，并代数性地解释了有限CNN相对于GP近似方法的泛化优势。
• 本研究建立了具有噪声训练的有限宽度DNN与NNGP之间原则性的分析联系，FWC为基于GP的预测提供了系统性修正。