[论文解读] A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks

Zhiqi Bu, Shiyun Xu+1 more|arXiv (Cornell University)|Oct 25, 2020

Stochastic Gradient Optimization Techniques参考文献 58被引用 4

一句话总结

本文從動力系統的觀點探討過參數化神經網絡中優化算法的行為，顯示在重啟動動量（HB）與納斯特羅夫加速梯度（NAG）方法下，非凸權重動態可透過神經正切核（NTK）映射至強凸誤差動態。論文證明HB實現全局線性收斂，而NAG則呈次線性收斂，並利用李雅普諾夫函數與極限定常微分方程（ODE）將凸優化理論延伸至非凸深度學習設定。

ABSTRACT

When equipped with efficient optimization algorithms, the over-parameterized neural networks have demonstrated high level of performance even though the loss function is non-convex and non-smooth. While many works have been focusing on understanding the loss dynamics by training neural networks with the gradient descent (GD), in this work, we consider a broad class of optimization algorithms that are commonly used in practice. For example, we show from a dynamical system perspective that the Heavy Ball (HB) method can converge to global minimum on mean squared error (MSE) at a linear rate (similar to GD); however, the Nesterov accelerated gradient descent (NAG) may only converges to global minimum sublinearly. Our results rely on the connection between neural tangent kernel (NTK) and finite over-parameterized neural networks with ReLU activation, which leads to analyzing the limiting ordinary differential equations (ODE) for optimization algorithms. We show that, optimizing the non-convex loss over the weights corresponds to optimizing some strongly convex loss over the prediction error. As a consequence, we can leverage the classical convex optimization theory to understand the convergence behavior of neural networks. We believe our approach can also be extended to other optimization algorithms and network architectures.

研究动机与目标

• 理解過參數化神經網絡中非梯度下降優化算法的全局收斂行為。
• 透過動力系統與NTK，將非凸深度學習優化與凸優化理論相連結。
• 將經典收斂分析從梯度下降推廣至如HB與NAG等動量型方法。
• 建立這些算法下的誤差動態與強凸問題相似，進而可應用李雅普諾夫函數。

提出的方法

• 在神經正切核（NTK）框架下，將過參數化ReLU網絡的訓練動態建模為極限定常微分方程（ODE）。
• 將非凸權重動態轉換為強凸誤差動態問題，進而可應用經典凸優化工具。
• 利用李雅普諾夫函數分析對應於HB與NAG的二階ODE之收斂性，克服格朗瓦爾不等式（Gronwall’s inequality）的限制。
• 透過分析HB與NAG的極限定常微分方程，推導收斂速率，顯示HB實現線性收斂，而NAG則為次線性收斂。
• 建立相同理論框架亦適用於更深的架構（如CNN與ResNets），前提是Hessian矩陣保持正定。
• 將分析延伸至自適應優化器，透過將其動態建模為ODE系統，暗示未來可將類似Adam的方法納入此框架。

实验结果

研究问题

• RQ1 在過參數化神經網絡中，除梯度下降外的優化算法（如重啟動動量與納斯特羅夫加速梯度）是否能保證收斂至全局最小值？
• RQ2 在NTK架構下，HB與NAG的收斂速率與標準梯度下降相比如何？
• RQ3 能否透過動力系統觀點，將經典凸優化理論應用於非凸深度學習問題？
• RQ4 神經正切核（NTK）在將非凸權重動態映射至凸誤差動態中扮演何種角色？
• RQ5 該框架能否延伸至自適應優化算法（如Adam與RMSProp）？

主要发现

• 在均方誤差損失下，重啟動動量（HB）方法實現對全局最小值的全局線性收斂，且收斂速率快於標準梯度下降。
• 納斯特羅夫加速梯度下降（NAG）以次線性速率收斂至全局最小值，且所需過參數化程度高於HB或GD。
• 網路權重的非凸優化在動力上等價於預測誤差上的強凸優化問題，進而可應用李雅普諾夫函數。
• 該收斂分析適用於廣泛的架構類別，包括CNN與ResNets，前提是NTK的Hessian矩陣保持正定。
• HB與NAG的極限定常微分方程適用於任意過參數化網絡，不限於單層網絡。
• 該框架暗示自適應優化器（如Adam）或可透過ODE系統分析，但此類分析仍留待未來研究。