[论文解读] Continuous vs. Discrete Optimization of Deep Neural Networks

Omer Elkabetz, Nadav Cohen|arXiv (Cornell University)|Jul 14, 2021

Stochastic Gradient Optimization Techniques参考文献 61被引用 4

一句话总结

本文在深度神经网络中建立了连续梯度流与离散梯度下降之间的正式联系，表明在同质激活函数下，由于有利的曲率，梯度流轨迹可被梯度下降良好近似。关键贡献是通过从连续分析中转化而来，首次为在随机初始化下深度线性网络中梯度下降收敛到全局最小值提供了收敛保证。

ABSTRACT

Existing analyses of optimization in deep learning are either continuous, focusing on (variants of) gradient flow, or discrete, directly treating (variants of) gradient descent. Gradient flow is amenable to theoretical analysis, but is stylized and disregards computational efficiency. The extent to which it represents gradient descent is an open question in the theory of deep learning. The current paper studies this question. Viewing gradient descent as an approximate numerical solution to the initial value problem of gradient flow, we find that the degree of approximation depends on the curvature around the gradient flow trajectory. We then show that over deep neural networks with homogeneous activations, gradient flow trajectories enjoy favorable curvature, suggesting they are well approximated by gradient descent. This finding allows us to translate an analysis of gradient flow over deep linear neural networks into a guarantee that gradient descent efficiently converges to global minimum almost surely under random initialization. Experiments suggest that over simple deep neural networks, gradient descent with conventional step size is indeed close to gradient flow. We hypothesize that the theory of gradient flows will unravel mysteries behind deep learning.

研究动机与目标

• 正式分析深度学习中连续梯度流与离散梯度下降之间的差异。
• 确定梯度下降在何种条件下能紧密近似梯度流。
• 将连续梯度流分析中的收敛保证转化为离散梯度下降设置。
• 为在随机初始化下深度（3层及以上）固定大小网络中的梯度下降提供首个高效收敛保证。
• 通过实验验证在标准训练设置下，梯度下降轨迹与梯度流保持接近。

提出的方法

• 将梯度下降视为梯度流初值问题的数值近似。
• 应用数值分析中的基本定理，通过曲率（特别是轨迹上最小Hessian特征值）来界定近似误差。
• 在接近零初始化下分析具有同质激活函数（如ReLU）的深度线性网络。
• 利用梯度流轨迹的有利曲率——即最小Hessian特征值远离零——来确保梯度下降对轨迹的紧密近似。
• 将现有针对深度线性网络中梯度流的收敛结果转化为梯度下降的离散收敛保证。
• 采用Frobenius范数不等式和扰动分析来界定离散与连续轨迹之间的偏差。

实验结果

研究问题

• RQ1 在深度神经网络中，梯度下降在多大程度上近似梯度流？
• RQ2 曲率——特别是最小Hessian特征值——在决定梯度下降与梯度流之间近似质量方面起什么作用？
• RQ3 能否严格地将针对连续梯度流推导出的收敛结果转移到深度网络中的离散梯度下降？
• RQ4 在何种条件下，具有有限步长的梯度下降能高效收敛到深度线性网络的全局最小值？
• RQ5 在简单的深度学习设置中，梯度下降的实验轨迹在多大程度上保持与梯度流接近？

主要发现

• 在同质激活函数的深度神经网络中，由于轨迹上存在有利曲率，采用中等偏小步长的梯度下降能良好近似梯度流。
• 在深度线性网络中，梯度流轨迹上的最小Hessian特征值远离零，尤其是在接近收敛时，确保了强近似性。
• 本文首次为在随机、与数据无关初始化下，深度（3层及以上）固定大小网络中的梯度下降提供了收敛到全局最小值的高效收敛保证。
• 实验结果表明，减小步长仅对梯度下降轨迹产生微小影响，支持了理论近似结论。
• 梯度下降与梯度流之间的近似误差对最小Hessian特征值呈指数敏感，而其他因素（光滑性、Lipschitz常数）的影响较弱。
• 离散与连续权重之间偏差的推导界为 √(n⁵ϵ)/(1−√(n⁵ϵ))，其中 ϵ 控制初始化噪声，n 为网络深度。