[论文解读] Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network

Xiaoxia Wu, Simon S. Du+1 more|arXiv (Cornell University)|Feb 19, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用 44

一句话总结

本文证明，对于两层过参数化的 ReLU 网络，在给定足够宽度的前提下，采用自适应梯度方法可以在多项式时间内全局收敛，并对超参数选择具有鲁棒性且无需调节学习率。

ABSTRACT

Adaptive gradient methods like AdaGrad are widely used in optimizing neural networks. Yet, existing convergence guarantees for adaptive gradient methods require either convexity or smoothness, and, in the smooth setting, only guarantee convergence to a stationary point. We propose an adaptive gradient method and show that for two-layer over-parameterized neural networks -- if the width is sufficiently large (polynomially) -- then the proposed method converges \emph{to the global minimum} in polynomial time, and convergence is robust, \emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}. Our analysis indicates in particular that over-parametrization is crucial for the harnessing the full potential of adaptive gradient methods in the setting of neural networks.

研究动机与目标

• 在非凸、过参数化的神经网络中证明自适应梯度方法的全局收敛。
• 证明过参数化使收敛对超参数具有鲁棒性且不敏感。
• 在此设置下为类似 AdaGrad 的自适应方法提供多项式时间收敛保证。

提出的方法

• 引入一种自适应梯度方法（AdaLoss），作为基于范数的 AdaGradient 方法的变体。
• 在过参数化和数据相关的 Gram 矩阵假设下推导多项式时间全局收敛保证。
• 证明界限，确保自适应学习率保持在收敛区间内且不会消失。
• 使用基于归纳的证明，结合精心构造的假设来界定不断演化的学习率和损失。
• 表明宽度 m 必须足够大才能达到所需的收敛保证。

实验结果

研究问题

• RQ1 自适应梯度方法是否能够实现非凸、过参数化神经网络的全局收敛？
• RQ2 过参数化如何影响收敛行为以及自适应方法所需的学习率机制？
• RQ3 在这种神经网络设置下，是否存在对超参数选择鲁棒的 AdaGrad 类方法的多项式时间收敛保证？
• RQ4 哪些受数据和初始化影响的量（例如 Gram 矩阵）决定收敛速率？

主要发现

• 梯度下降相对于数据相关的 Gram 矩阵 H∞ 可以实现更高的学习率，从而更快收敛。
• 在过参数化条件下，所提出的 AdaLoss 自适应方法在多项式时间内收敛到全局最小值，对超参数鲁棒。
• 关于收敛速率，对任意超参数的选择都成立，尽管常数会随选择而变化。
• Width requirements: m = Ω(n^6 / (λ0^4 δ^3) + η^4 / α^4 · n^4 ||H∞||^4 / (λ0^4 δ^2)).
• 分析表明过参数化在利用自适应梯度方法于此神经网络设置中至关重要。