[论文解读] Exponential Step Sizes for Non-Convex Optimization.

Xiaoyu Li, Zhenxun Zhuang+1 more|arXiv (Cornell University)|Feb 12, 2020

Stochastic Gradient Optimization Techniques参考文献 23被引用 7

一句话总结

该论文在非凸光滑函数的随机优化中，针对Polyak-Łojasiewicz（PL）条件提出了指数级步长，实现了自适应收敛速率，该速率在无噪声时介于线性收敛与有噪声时的$O(1/T)$之间，仅相差多对数因子。在不满足PL条件时，仍能确保收敛至临界点，仅相差对数因子，且在深度学习数据集上得到验证。

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular tool in large scale optimization of machine learning objective functions. However, the performance is greatly variable, depending on the choice of the step sizes. In this paper, we introduce the exponential step sizes for stochastic optimization of smooth non-convex functions which satisfy the Polyak-Łojasiewicz (PL) condition. We show that, without any information on the level of noise over the stochastic gradients, these step sizes guarantee a convergence rate for the last iterate that automatically interpolates between a linear rate (in the noisy-free case) and a $O(\frac{1}{T})$ rate (in the noisy case), up to poly-logarithmic factors. Moreover, if without the PL condition, the exponential step sizes still guarantee optimal convergence to a critical point, up to logarithmic factors. We also validate our theoretical results with empirical experiments on real-world datasets with deep learning architectures.

研究动机与目标

• 为解决大规模非凸优化中因步长选择导致的随机梯度下降（SGD）性能高变异性问题。
• 开发无需事先知晓噪声水平的自适应步长策略，以自动适应随机梯度中的噪声水平。
• 在非凸设置下，为最后迭代点建立收敛保证，尤其在Polyak-Łojasiewicz（PL）条件下。
• 将收敛结果推广至不满足PL条件的情形，确保收敛至临界点的最优性，仅相差对数因子。

提出的方法

• 提出随迭代次数几何衰减的指数步长，无需显式估计噪声即可自适应优化景观。
• 在Polyak-Łojasiewicz（PL）条件下分析收敛性，表明指数步长可实现介于线性收敛与$O(1/T)$之间的收敛速率，仅相差多对数因子。
• 通过平滑非凸函数和随机梯度的性质，推导出最后迭代点的期望次优间隙的理论界。
• 证明即使在不满足PL条件时，指数步长仍能实现收敛至临界点的最优性，仅相差对数因子。
• 采用一种新颖的分析框架，考虑步长衰减与梯度噪声方差之间的相互作用。
• 通过在真实世界深度学习数据集上使用标准架构的实验，验证了理论发现。

实验结果

研究问题

• RQ1 指数步长能否在非凸随机优化中实现自适应收敛速率，响应噪声水平而无需事先知识？
• RQ2 在Polyak-Łojasiewicz（PL）条件下，指数步长下最后迭代点的收敛速率如何表现？
• RQ3 当PL条件不成立时，指数步长能提供何种收敛保证？
• RQ4 指数步长在非凸设置下在多大程度上能确保收敛至临界点的最优性？
• RQ5 指数步长在深度学习应用中与标准SGD相比，其性能如何？

主要发现

• 在PL条件下，指数步长保证了最后迭代点的收敛速率介于无噪声情况下的线性收敛与有噪声情况下的$O(1/T)$之间，仅相差多对数因子。
• 该方法在不依赖PL条件时，仍能实现收敛至临界点的最优性，仅相差对数因子。
• 收敛速率能自动适应随机梯度中的噪声水平，无需显式噪声估计。
• 在真实世界深度学习数据集上的实证结果证实了指数步长相较于标准SGD的理论优势。
• 所提出的步长策略在不同噪声环境下均能确保鲁棒性能，提升稳定性和收敛速度。