[论文解读] Generalized Uniformly Optimal Methods for Nonlinear Programming

Saeed Ghadimi, Guanghui Lan+1 more|arXiv (Cornell University)|Aug 29, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用 13

一句话总结

本文提出一个统一框架，将统一最优的凸优化方法（如加速梯度法和束级法）扩展至非凸非线性规划问题，通过集成梯度下降或拟牛顿步骤，同时强制目标函数值单调下降。所提出的算法在非凸问题中实现了已知最佳收敛速率，在凸问题中实现了最优速率，且无需依赖问题特定参数。

ABSTRACT

In this paper, we present a generic framework to extend existing uniformly optimal convex programming algorithms to solve more general nonlinear, possibly nonconvex, optimization problems. The basic idea is to incorporate a local search step (gradient descent or Quasi-Newton iteration) into these uniformly optimal convex programming methods, and then enforce a monotone decreasing property of the function values computed along the trajectory. Algorithms of these types will then achieve the best known complexity for nonconvex problems, and the optimal complexity for convex ones without requiring any problem parameters. As a consequence, we can have a unified treatment for a general class of nonlinear programming problems regardless of their convexity and smoothness level. In particular, we show that the accelerated gradient and level methods, both originally designed for solving convex optimization problems only, can be used for solving both convex and nonconvex problems uniformly. In a similar vein, we show that some well-studied techniques for nonlinear programming, e.g., Quasi-Newton iteration, can be embedded into optimal convex optimization algorithms to possibly further enhance their numerical performance. Our theoretical and algorithmic developments are complemented by some promising numerical results obtained for solving a few important nonconvex and nonlinear data analysis problems in the literature.

研究动机与目标

• 解决在不同凸性和光滑性条件下求解通用非线性规划问题时缺乏统一、无需参数的方法的问题。
• 将原本要求凸性的统一最优凸优化算法扩展至非凸场景。
• 构建一个框架，在凸问题中保持最优收敛速率，在非凸问题中实现已知最佳收敛速率。
• 将局部搜索步骤（如梯度下降或拟牛顿法）集成到最优凸方法中，以提升实际性能。
• 为包含Hölder连续梯度函数和凸集上简单凸正则项的复合问题提供统一处理方式。

提出的方法

• 将梯度下降或拟牛顿步骤集成到统一最优的凸规划算法中（如加速梯度法或束级法）。
• 在每次迭代中强制目标函数值保持单调递减，以确保在非凸设置下的收敛性。
• 采用一种新颖的步长策略，避免依赖于平滑参数 $ H $ 或Hölder指数 $ \nu $ 等问题参数。
• 将该框架应用于加速梯度（AG）和加速水平（AL）方法，扩展其在非凸问题中的适用性。
• 用拟牛顿更新替代标准梯度步骤，以改善局部收敛性和数值性能。
• 通过投影梯度终止准则 $ \|g_{X,k}\| \leq \epsilon $ 确保收敛，该准则适用于非凸问题。

实验结果

研究问题

• RQ1 是否可以在不依赖问题参数的情况下，将统一最优的凸优化方法扩展至非凸问题？
• RQ2 对于具有Hölder连续梯度的非凸非线性规划问题，可实现的最佳收敛速率是什么？
• RQ3 如何将局部搜索步骤（如梯度下降或拟牛顿法）集成到最优凸方法中，以保持全局收敛性并提升性能？
• RQ4 能否设计一个单一算法框架，同时适用于凸和非凸问题，并具备相同的收敛保证？
• RQ5 在数据分析应用中，拟牛顿步骤对统一最优方法的实际性能有何影响？

主要发现

• 所提出的算法在非凸问题中实现了已知最佳收敛速率 $ \mathcal{O}(1/\epsilon^{2}) $（当 $ \nu = 0 $ 时），与已知下界一致。
• 对于光滑非凸问题（$ \nu = 1 $），该方法实现了 $ \mathcal{O}(1/\sqrt{\epsilon}) $ 的复杂度，这是最优的。
• 在凸情况下，该方法无需输入 $ \nu $、$ H $ 或迭代上限 $ N $ 即可恢复最优复杂度界，从而实现统一最优性。
• 在Sigmoid SVM问题上的数值结果表明，UPFAG和UFAPL方法的收敛速度优于标准PG和UAG方法，其中UPFAG在 $ m=1000, n=2000 $ 时仅用583次迭代即达到 $ \|g_X\| < 10^{-5} $。
• 引入拟牛顿步骤（如UPFAG-full和UFAPL）显著提升了收敛速度，其中UFAPL在 $ m=2000, n=4000 $ 时仅用100次迭代即达到 $ \|g_X\| < 10^{-5} $。
• 所有测试实例中，算法均保持较低的目标函数值和分类误差，且在高精度水平下误差稳定在接近最优值（如 $ m=1000, n=2000 $ 时约为31%）。