[论文解读] Mean Field Limit of the Learning Dynamics of Multilayer Neural Networks

Phan-Minh Nguyen|arXiv (Cornell University)|Feb 7, 2019

Neural Networks and Applications参考文献 40被引用 36

一句话总结

本论文在适当的缩放和 SGD 下提出多层神经网络学习动力学的平均场极限，证明当神经元数量增大时，网络行为变得与神经元数量无关，并且可以通过一组极限方程来描述。

ABSTRACT

Can multilayer neural networks -- typically constructed as highly complex structures with many nonlinearly activated neurons across layers -- behave in a non-trivial way that yet simplifies away a major part of their complexities? In this work, we uncover a phenomenon in which the behavior of these complex networks -- under suitable scalings and stochastic gradient descent dynamics -- becomes independent of the number of neurons as this number grows sufficiently large. We develop a formalism in which this many-neurons limiting behavior is captured by a set of equations, thereby exposing a previously unknown operating regime of these networks. While the current pursuit is mathematically non-rigorous, it is complemented with several experiments that validate the existence of this behavior.

研究动机与目标

• 在适当的缩放下，为多层神经网络动机并形式化一个平均场 (MF) 极限。
• 展示对称性和自平均如何导致简化的、按层的随机核表示。
• 推导三层网络在 MF 极限下的前向、后向与学习动力学，并推广到多层网络。
• 提供有限网络 SGD 与 MF 极限之间的启发式联系，并通过实验验证。

提出的方法

• 引入跨层神经元的随机核表示，以符合多层连通性和对称性。
• 在 MF 极限中将前向传播定义为对神经元测度的积分，例如 hat{y}(x; rho1, rho2) = ∫ beta sigma(H2(f; x, rho1)) rho2(d f, d beta).
• 发展通过核表示的反向传播量 Delta_beta, Delta_H2, Delta_w2, Delta_H1, Delta_w1，表达为对核表示的积分。
• 将 rho1^t 与 rho2^t 的演化方程建立为一对耦合偏微分方程组，带有随机初始化，反映 SGD 动力学。
• 给出三层网络的明确 MF 极限动力学，包括前向（7–16）和后向/演化（17–24）形式。
• 讨论一般多层网络的扩展并提供 MF 极限行为的实验验证。

实验结果

研究问题

• RQ1 平均场极限是否能够描述在适当缩放和 SGD 下多层神经网络的学习动力学？
• RQ2 对称性、边际均匀性和自平均如何使多层体系结构的可处理 MF 表示成为可能？
• RQ3 在三层网络的 MF 极限下，前向、后向和学习动力学是什么，以及它们如何推广到更深的网络？
• RQ4 在 MF 极限下，大型多层网络是否表现出与确切神经元数量无关的行为，与经验观察一致？
• RQ5 理论的 MF 极限预测如何与真实网络的实验结果一致？

主要发现

• 在适当的缩放和 SGD 下，随着神经元数量的增加，网络行为趋向于一个非平凡的平均场极限，变得与神经元数量无关。
• 一个随机核表示足以描述跨层的神经元，MF 极限仅需要条件期望。
• MF 极限给出前向和后向的显式形式，以及层级测度 rho1^t 和 rho2^t 的耦合偏微分方程演化。
• 对于三层网络，MF 形式将有限网络连接到一个随时间演化的系统，该系统在极限下预测 SGD 动力学。
• 实验验证了 MF 极限的存在，并说明大型网络在不同神经元数量下的性能曲线是一致的。