[论文解读] How neural networks find generalizable solutions: Self-tuned annealing in deep learning

Yu Feng, Yuhai Tu|arXiv (Cornell University)|Jan 6, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用 5

一句话总结

本文揭示了深度学习中的随机梯度下降（SGD）自然地实现了一种自适应调节、与损失景观相关的退火过程，其中噪声强度（有效温度）在系统趋近损失景观中更平坦的极小值时逐渐降低。作者建立了权重方差与损失景观平坦度之间的稳健反比关系，解释了为何SGD能实现良好泛化，并为设计更高效的训练算法提供了支持。

ABSTRACT

Despite the tremendous success of Stochastic Gradient Descent (SGD) algorithm in deep learning, little is known about how SGD finds generalizable solutions in the high-dimensional weight space. By analyzing the learning dynamics and loss function landscape, we discover a robust inverse relation between the weight variance and the landscape flatness (inverse of curvature) for all SGD-based learning algorithms. To explain the inverse variance-flatness relation, we develop a random landscape theory, which shows that the SGD noise strength (effective temperature) depends inversely on the landscape flatness. Our study indicates that SGD attains a self-tuned landscape-dependent annealing strategy to find generalizable solutions at the flat minima of the landscape. Finally, we demonstrate how these new theoretical insights lead to more efficient algorithms, e.g., for avoiding catastrophic forgetting.

研究动机与目标

• 理解尽管理论基础有限，SGD为何能在高维非凸损失景观中找到可泛化的解。
• 研究SGD噪声与损失函数景观几何结构之间的动态相互作用。
• 构建一个理论框架，解释SGD在深度学习中如何作为一种智能、自适应的退火过程发挥作用。
• 利用统计物理的洞见，设计更高效的训练算法，例如避免灾难性遗忘的算法。

提出的方法

• 将SGD建模为由带时间依赖噪声项的Langevin型方程驱动的非平衡随机动力系统。
• 定义一个mini-batch损失函数集合{L^μ(w)}，并利用其波动量化SGD噪声，其中δL^μ = L^μ - L。
• 引入“有效温度”概念，作为有效噪声强度的度量，其源自梯度波动的相关性：C_ij(w) = α²⟨(∂δL^μ/∂w_i)(∂δL^μ/∂w_j)⟩_μ。
• 在探索阶段对权重轨迹应用主成分分析（PCA），以提取低维动力学并研究噪声与景观的相关性。
• 利用随机景观理论推导出噪声强度（有效温度）与局部景观平坦度（曲率倒数）之间的反比关系。
• 提出一种改进的损失函数（公式15），用于多任务学习，通过引入与景观相关的噪声调节策略，缓解灾难性遗忘。

实验结果

研究问题

• RQ1 SGD在训练过程中如何根据损失景观的几何结构动态调节其噪声水平？
• RQ2 在SGD中观察到的权重方差与损失景观平坦度之间的反比关系的根源是什么？
• RQ3 SGD过程是否可被理解为一种退火形式？如果是，它是否自适应地调节至损失景观的局部与非局部特性？
• RQ4 如何利用统计物理的洞见来提升深度神经网络的训练效率与泛化性能？
• RQ5 能否利用与景观相关的噪声调节策略，设计出更优的持续学习或多任务学习算法？

主要发现

• 在所有基于SGD的学习算法中，均观察到权重方差与损失景观平坦度（曲率倒数）之间存在稳健的反比关系。
• SGD中的有效噪声强度（有效温度）与损失景观的局部平坦度成反比，表明存在一种自适应调节的退火机制。
• SGD噪声具有各向异性的特征，且在权重空间中变化，使其成为一种与平衡态模拟退火不同的非平衡过程。
• 有效温度随时间降低，且与损失函数相关，表明系统经历一个冷却过程，推动系统向更平坦的极小值收敛。
• 基于随机景观理论的理论分析证实，噪声强度与景观平坦度成反比，解释了为何SGD能发现可泛化的解。
• 所提出的多任务学习中与景观相关的噪声调节策略，可减少灾难性遗忘并提升泛化性能。