[论文解读] Leveraging Non-uniformity in First-order Non-convex Optimization

Jincheng Mei, Yue Gao+3 more|arXiv (Cornell University)|May 13, 2021

Stochastic Gradient Optimization Techniques参考文献 19被引用 7

一句话总结

本文引入非均匀光滑性（NS）与非均匀 Łojasiewicz（NŁ）不等式，以改进非凸优化中的经典收敛性分析，使几何感知的一阶梯度方法能够实现更快的收敛速度——具体而言，在策略梯度和广义线性模型等任务中实现指数级 $O(e^{-c t})$ 收敛率，优于经典的 $ Omega(1/t^2)$ 边界。

ABSTRACT

Classical global convergence results for first-order methods rely on uniform smoothness and the Łojasiewicz inequality. Motivated by properties of objective functions that arise in machine learning, we propose a non-uniform refinement of these notions, leading to \emph{Non-uniform Smoothness} (NS) and \emph{Non-uniform Łojasiewicz inequality} (NŁ). The new definitions inspire new geometry-aware first-order methods that are able to converge to global optimality faster than the classical $Ω(1/t^2)$ lower bounds. To illustrate the power of these geometry-aware methods and their corresponding non-uniform analysis, we consider two important problems in machine learning: policy gradient optimization in reinforcement learning (PG), and generalized linear model training in supervised learning (GLM). For PG, we find that normalizing the gradient ascent method can accelerate convergence to $O(e^{-t})$ while incurring less overhead than existing algorithms. For GLM, we show that geometry-aware normalized gradient descent can also achieve a linear convergence rate, which significantly improves the best known results. We additionally show that the proposed geometry-aware descent methods escape landscape plateaus faster than standard gradient descent. Experimental results are used to illustrate and complement the theoretical findings.

研究动机与目标

• 为解决非凸优化中均匀光滑性与 Łojasiewicz 假设的局限性，这些假设忽略了局部问题结构。
• 基于非均匀光滑性（NS）与非均匀 Łojasiewicz（NŁ）不等式，构建一个更精细的理论框架，以更好地捕捉机器学习目标中的局部几何特性。
• 设计利用局部结构以实现比经典 $ Omega(1/t^2)$ 边界更快收敛的几何感知一阶梯度方法。
• 为策略梯度与广义线性模型训练建立改进的收敛速率——具体为 $O(e^{-c t})$。
• 证明这些方法能比标准方法更快速地逃离平台区，并在标准方法失效或收敛缓慢的区域实现线性收敛。

提出的方法

• 通过用局部函数 $\beta(\theta)$ 替代全局光滑常数 $\beta$，提出非均匀光滑性（NS），以在定义域内表征可变曲率。
• 引入非均匀 Łojasiewicz（NŁ）不等式，用局部参数 $C(\theta)$ 与 $\xi(\theta)$ 替代全局常数 $C$ 与 $\xi$，确保在关注区域梯度不会过早消失。
• 设计几何感知归一化梯度下降法（GNGD），通过自适应调整基于局部光滑性与 Łojasiewicz 参数的步长，以加速收敛。
• 将新框架应用于两类关键机器学习问题：强化学习中的策略梯度与监督学习中的广义线性模型。
• 通过理论分析表明，在 NS 与 NŁ 条件下，GNGD 实现 $O(e^{-c t})$ 收敛，显著优于经典的 $ Omega(1/t^2)$ 速率。
• 在 GNPG 与 GNGD 中采用自适应学习率与归一化策略，以避免振荡与平台区问题，尤其在高曲率区域表现更优。

实验结果

研究问题

• RQ1 能否定义非均匀光滑性与 Łojasiewicz 条件，以更好地捕捉机器学习中非凸优化问题的局部几何特性？
• RQ2 在这些改进的假设下，几何感知的一阶梯度方法能否实现比经典方法更快的收敛速度？
• RQ3 所提出的 GNGD 方法是否比标准梯度下降更高效地逃离优化平台区？
• RQ4 在新提出的非均匀框架下，能否在策略梯度与广义线性模型训练中实现指数收敛率 $O(e^{-c t})$？
• RQ5 自适应归一化与学习率方案在实践中与固定学习率或标准归一化相比表现如何？

主要发现

• 在强化学习的策略梯度（PG）中，采用几何感知更新的归一化梯度上升实现 $O(e^{-c t})$ 收敛，显著快于经典的 $ Omega(1/t^2)$ 边界。
• 在广义线性模型（GLM）训练中，所提出的 GNGD 方法实现线性收敛 $O(e^{-c t})$，优于文献中已知的最佳结果。
• GNGD 方法比标准梯度下降更快逃离优化平台区，尤其在高曲率区域，此时固定学习率方法会失效。
• 在 $f(x) = |x|^p$ 且 $p=1.5$ 与 $p=4$ 的实验中，结果证实 GNGD 实现指数收敛，而标准 GD 表现为振荡或次线性速率。
• 在 GLM 任务中，GNGD 使用固定学习率的表现优于标准 GD 以及使用固定或自适应学习率的 NGD，证实了几何感知归一化的优越性。
• GNPG（几何感知归一化策略梯度）在 $S=85$ 与 $S=341$ 状态的树状 MDP 中收敛快于标准 PG，验证了该方法的可扩展性与鲁棒性。