[论文解读] A Correspondence Between Random Neural Networks and Statistical Field Theory

Samuel S. Schoenholz, Jeffrey Pennington+1 more|arXiv (Cornell University)|Oct 18, 2017

Neural Networks and Applications参考文献 13被引用 12

一句话总结

本文建立了宽随机神经网络中预激活分布与物理学中统计格点模型之间的精确对应关系，使得场论技术可被用于分析网络行为。通过傅里叶变换，推导出线性与ReLU网络的高斯近似，并表明大尺度动力学由有效场论支配，且在多种架构与权重初始化方案下与模拟结果高度一致。

ABSTRACT

A number of recent papers have provided evidence that practical design questions about neural networks may be tackled theoretically by studying the behavior of random networks. However, until now the tools available for analyzing random neural networks have been relatively ad-hoc. In this work, we show that the distribution of pre-activations in random neural networks can be exactly mapped onto lattice models in statistical physics. We argue that several previous investigations of stochastic networks actually studied a particular factorial approximation to the full lattice model. For random linear networks and random rectified linear networks we show that the corresponding lattice models in the wide network limit may be systematically approximated by a Gaussian distribution with covariance between the layers of the network. In each case, the approximate distribution can be diagonalized by Fourier transformation. We show that this approximation accurately describes the results of numerical simulations of wide random neural networks. Finally, we demonstrate that in each case the large scale behavior of the random networks can be approximated by an effective field theory.

研究动机与目标

• 建立一个严谨的理论框架，将随机神经网络与统计场论联系起来。
• 证明宽随机网络中的预激活在数学上精确对应于统计物理中的格点模型。
• 在宽网络极限下，系统推导出深度线性与ReLU网络的近似方法——尤其是高斯近似与有效场论。
• 通过数值模拟验证理论，证明其在预测网络行为方面具有高度准确性。
• 为利用场论工具分析损失曲面、训练动力学与泛化特性开辟新路径。

提出的方法

• 作者构建了一个随机神经网络集合，其中权重与偏置为独立同分布的高斯分布，并通过精确积分消去权重，从而获得预激活的分布。
• 该分布被证明等价于统计格点模型的玻尔兹曼分布，且与自旋系统存在精确映射。
• 在宽网络极限下，预激活分布被近似为高斯分布，其协方差结构依赖于网络宽度与权重方差。
• 利用傅里叶变换对协方差矩阵进行对角化，从而简化层间相关性的分析。
• 推导出网络的长波长行为作为有效场论，其连续作用量可捕捉慢变波动。
• 通过将理论预测与多种架构及初始化方案下宽随机神经网络的数值模拟结果对比，验证了理论的有效性。

实验结果

研究问题

• RQ1 宽随机神经网络中的预激活分布能否被精确映射到物理学中的统计格点模型？
• RQ2 在宽网络极限下，深度线性与ReLU网络中预激活之间的相关性行为如何？
• RQ3 支配随机神经网络大尺度行为的有效场论具有何种形式？
• RQ4 预激活分布的高斯近似在多大程度上能准确描述数值模拟结果？
• RQ5 场论工具能否用于分析随机网络中的训练动力学与损失曲率统计？

主要发现

• 随机神经网络中的预激活分布可精确映射到统计格点模型，为网络分析提供了严谨的场论基础。
• 对于深度线性与ReLU网络，在宽网络极限下，预激活分布可良好地由高斯分布近似，其协方差矩阵可通过傅里叶变换对角化。
• ReLU网络的有效场论包含涉及二阶空间导数的项，反映了非线性对长波长涨落的影响。
• 该理论能以高精度预测预激活的方差与相关性结构，且在多种网络深度与宽度下均与数值模拟结果高度吻合。
• 该框架可系统性地利用统计场论中成熟的工具（包括重整化群思想）对网络行为进行近似分析。
• 该方法可通过将小损失视为对随机初始化集合的微扰，为未来分析损失曲面与训练初期动力学提供可能。