[论文解读] Edge of chaos as a guiding principle for modern neural network training

Lin Zhang, Ling Feng+2 more|arXiv (Cornell University)|Jul 20, 2021

Neural Networks and Applications参考文献 36被引用 4

一句话总结

本文提出，将深度神经网络训练在混沌边缘——即动力系统表现出最佳计算能力的区域——可指导超参数选择，从而实现更快、更鲁棒的训练。通过在简单前馈网络上使用带有动量的随机梯度下降，作者在有序相中识别出缩放关系，实现加速训练而性能不降，且表明权重衰减可有效将模型推向混沌边缘，从而实现最优泛化。

ABSTRACT

The success of deep neural networks in real-world problems has prompted many attempts to explain their training dynamics and generalization performance, but more guiding principles for the training of neural networks are still needed. Motivated by the edge of chaos principle behind the optimal performance of neural networks, we study the role of various hyperparameters in modern neural network training algorithms in terms of the order-chaos phase diagram. In particular, we study a fully analytical feedforward neural network trained on the widely adopted Fashion-MNIST dataset, and study the dynamics associated with the hyperparameters in back-propagation during the training process. We find that for the basic algorithm of stochastic gradient descent with momentum, in the range around the commonly used hyperparameter values, clear scaling relations are present with respect to the training time during the ordered phase in the phase diagram, and the model's optimal generalization power at the edge of chaos is similar across different training parameter combinations. In the chaotic phase, the same scaling no longer exists. The scaling allows us to choose the training parameters to achieve faster training without sacrificing performance. In addition, we find that the commonly used model regularization method - weight decay - effectively pushes the model towards the ordered phase to achieve better performance. Leveraging on this fact and the scaling relations in the other hyperparameters, we derived a principled guideline for hyperparameter determination, such that the model can achieve optimal performance by saturating it at the edge of chaos. Demonstrated on this simple neural network model and training algorithm, our work improves the understanding of neural network training dynamics, and can potentially be extended to guiding principles of more complex model architectures and algorithms.

研究动机与目标

• 探究混沌边缘原理是否可指导现代神经网络训练中的超参数选择。
• 理解诸如带有动量的随机梯度下降等训练算法如何影响系统的动力相（有序 vs. 混沌）。
• 在训练过程中识别出超参数之间的缩放关系，以实现更快收敛而不损失性能。
• 探讨正则化技术（如权重衰减）如何影响系统接近混沌边缘的程度。
• 推导出一种系统化的超参数调优准则，使模型在混沌边缘饱和，以实现最优泛化。

提出的方法

• 本研究使用一个完全解析的、单隐藏层的前馈神经网络，在Fashion-MNIST数据集上进行训练。
• 通过使用动力学平均场理论（DMFT）分析网络动力学的渐近稳定性，构建了有序-混沌相图。
• 通过公式 $ \frac{J^2}{N} \sum_i \text{sech}^4(\cdots) = 1 $ 识别混沌边缘，该公式源自权重更新方差的推导。
• 在有序相中识别出超参数（学习率、动量、权重衰减）与训练时长（训练轮次）之间的缩放关系。
• 将权重衰减建模为对权重方差的负反馈，通过迭代代入SGD更新规则量化其影响。
• 通过扰动测试输入并测量各轮次的渐近距离分布，对理论预测进行数值验证。

实验结果

研究问题

• RQ1 在带有动量的随机梯度下降的有序相中，是否存在超参数与训练时长之间的缩放关系？
• RQ2 权重衰减如何影响系统在有序-混沌相图中的位置？
• RQ3 是否可通过正则化系统性地达到混沌边缘？这是否带来最优泛化？
• RQ4 网络的渐近行为是否为全局性质，与输入数据无关？
• RQ5 是否可利用观察到的缩放关系在不造成性能下降的前提下加速训练？

主要发现

• 在有序相中，超参数与训练时长之间存在清晰的缩放关系，可实现加速训练而性能不降。
• 在缩放区域内，不同超参数组合下的模型泛化性能几乎保持不变，表明其具有鲁棒性。
• 在混沌相中，此类缩放关系失效，证实有序相为最优训练区域。
• 权重衰减有效降低了有效权重方差，推动模型进入有序相，从而实现对靠近混沌边缘位置的精确控制。
• 理论分析表明，权重衰减使 $ J^2 $ 减少 $ 4\eta\lambda / (1 - \alpha) $ 倍，从而可精确调参以达到混沌边缘。
• 通过将优化步长引起的 $ J^2 $ 增量与权重衰减引起的减量相等，作者推导出一种系统化的超参数选择公式，使模型在混沌边缘饱和。