[论文解读] Trivializing The Energy Landscape Of Deep Networks.

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|Nov 20, 2015

Stochastic Gradient Optimization Techniques参考文献 72被引用 11

一句话总结

本文提出一个理论框架，将深度学习与自旋玻璃模型联系起来，表明施加正则化（类比于外磁场）可使深度网络的损失景观变得简单化——将指数数量的局部极小值减少为常数数量。关键结果是此类扰动使梯度下降能够逃离性能较差的局部极小值，从而为正则化和退火策略提供启发式指导。

ABSTRACT

We study a theoretical model that connects deep learning to finding the ground state of the Hamiltonian of a spherical spin glass. Existing results motivated from statistical physics show that deep networks have a highly non-convex energy landscape with exponentially many local minima and energy barriers beyond which gradient descent algorithms cannot make progress. We leverage a technique known as topology trivialization where, upon perturbation by an external magnetic field, the energy landscape of the spin glass Hamiltonian changes dramatically from exponentially many local minima to total trivialization, i.e., a constant number of local minima. There also exists a transitional regime with polynomially many local minima which interpolates between these extremes. We show that a number of regularization schemes in deep learning can benefit from this phenomenon. As a consequence, our analysis provides order heuristics to choose regularization parameters and motivates annealing schemes for these perturbations.

研究动机与目标

• 通过统计物理与自旋玻璃理论的视角，理解深度神经网络高度非凸的能量景观。
• 研究外部扰动（建模为磁场）如何将损失景观从指数数量的局部极小值转变为具有少量极小值的简化结构。
• 将自旋玻璃拓扑简化理论洞见与实际深度学习正则化方案相联系。
• 基于能量景观中的拓扑相变，推导正则化参数选择的量级启发式方法。
• 提出模拟自旋玻璃模型中扰动渐进施加过程的正则化退火策略。

提出的方法

• 将深度网络的损失景观建模为球形自旋玻璃的哈密顿量，借助统计力学工具进行分析。
• 在自旋玻璃哈密顿量上施加类比于外磁场的扰动，从而在能量景观中诱导拓扑相变。
• 分析局部极小值数量的相变：从扰动前的指数数量，到强扰动后的常数数量，中间存在多项式数量的过渡区域。
• 利用拓扑简化概念，解释为何当景观受到扰动时，梯度下降能够逃离性能较差的局部极小值。
• 建立深度学习正则化与自旋玻璃模型中磁场之间的理论联系。
• 基于观察到的从指数到常数极小值的过渡区域，制定正则化强度的启发式方法。

实验结果

研究问题

• RQ1 外磁场的引入如何影响球形自旋玻璃能量景观中局部极小值的数量与结构？
• RQ2 自旋玻璃能量景观的拓扑简化是否可解释深度学习中正则化的成功？
• RQ3 具有多项式数量局部极小值的中间区域，在高度非凸与简化景观之间的过渡中起什么作用？
• RQ4 局部极小值数量的相变如何为深度神经网络正则化超参数的选择提供指导？
• RQ5 能否从自旋玻璃模型中扰动的动力学过程推导出正则化参数的退火策略？

主要发现

• 当深度网络的能量景观被建模为球形自旋玻璃时，在外磁场作用下，其局部极小值数量从指数数量减少为常数数量。
• 存在一个具有多项式数量局部极小值的过渡区域，作为高度非凸与简化相之间的插值。
• 深度学习中的正则化可被解释为诱导了类似的扰动，从而简化损失景观并促进优化。
• 理论分析为基于能量景观拓扑相变的正则化参数选择提供了量级启发式方法。
• 通过缓慢增加正则化强度的退火策略，可从自旋玻璃模型中扰动的渐进施加过程获得理论依据。
• 拓扑简化现象为尽管存在大量局部极小值，梯度下降为何在深度学习中仍能成功提供了理论解释。