[论文解读] Gaussian Process Behaviour in Wide Deep Neural Networks
本文证明，在宽度增加的情况下，具有多层隐藏层的深度、宽度均匀全连接神经网络在分布上收敛到高斯过程，且条件较为宽松，并通过与高斯过程类比及精确贝叶斯神经网络的MMD进行实证验证。
Whilst deep neural networks have shown great empirical success, there is still much work to be done to understand their theoretical properties. In this paper, we study the relationship between random, wide, fully connected, feedforward networks with more than one hidden layer and Gaussian processes with a recursive kernel definition. We show that, under broad conditions, as we make the architecture increasingly wide, the implied random function converges in distribution to a Gaussian process, formalising and extending existing results by Neal (1996) to deep networks. To evaluate convergence rates empirically, we use maximum mean discrepancy. We then compare finite Bayesian deep networks from the literature to Gaussian processes in terms of the key predictive quantities of interest, finding that in some cases the agreement can be very close. We discuss the desirability of Gaussian process behaviour and review non-Gaussian alternative models from the literature.
研究动机与目标
- 扩展对具有不止一个隐藏层的随机全连接网络的理论理解。
- 在广泛条件下证明宽深度网络收敛到高斯过程。
- 以最大均值差异（MMD）经验评估收敛速率。
- 在预测量上比较有限贝叶斯深度网络与高斯过程。
- 讨论对贝叶斯深度学习以及初始化/动力学的影响。
提出的方法
- 定义一个具有D个隐藏层的全连接网络，并对权重和偏置采用标准的随机正态先验。
- 按照Neal (1996)随宽度放缩权重方差以避免方差爆炸。
- 使用多变量中心极限定理，证明各层激活的联合分布收敛到多元正态分布，从而在极限下诱导出高斯过程（定理4）。
- 对非线性函数 φ 施加线性包络性质（|φ(u)| ≤ c + m|u|）。
- 使用递归引理（引理2）来刻画跨层的极限协方差结构。
- 通过有限网络与GP类比之间的最大均值差异（MMD）来衡量收敛到GP的程度。
实验结果
研究问题
- RQ1在宽度增长时，深度、广度的神经网络在分布上何种条件下收敛到高斯过程？
- RQ2宽度增长的选择（逐层增加）如何影响对GP的收敛？
- RQ3在深度与宽度方面，对高斯过程的收敛速率是多少？
- RQ4在常见数据集和先验下，有限贝叶斯深度网络与GP预测的吻合程度如何？
主要发现
- 一个严格的结果（定理4）表明，对于任意固定数量的隐藏层，在严格递增的宽度函数下，收敛到高斯过程。
- 极限GP的均值为零，协方差由递归（引理2）决定。
- 随着宽度增加，经验性MMD实验显示有限网络越来越接近其GP类比；对更深的网络收敛较慢。
- 在六个数据集中，五个数据集显示精确GP推断与使用MCMC的有限贝叶斯神经网络高度一致。
- 不同的宽度增长方案（恒等、最后增大、先增大）在宽度增加时仍然导致GP收敛，进一步证明了在定理下对具体宽度函数形状的独立性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。