[论文解读] Conditional gradient type methods for composite nonlinear and stochastic optimization

Saeed Ghadimi|arXiv (Cornell University)|Feb 2, 2016

Sparse and Compressive Sensing Techniques参考文献 23被引用 4

一句话总结

本文提出了一种用于复合非线性与随机优化的条件梯度类型（CGT）方法，结合了弱光滑项与强凸项。该方法在非凸与凸问题中均实现了最优的迭代复杂度，其变体避免了参数估计且保持了较低的每次迭代成本，同时在仅使用噪声梯度的随机设置下得到扩展，并为弱光滑、非凸及强凸问题建立了改进的复杂度界。

ABSTRACT

In this paper, we present a conditional gradient type (CGT) method for solving a class of composite optimization problems where the objective function consists of a (weakly) smooth term and a (strongly) convex regularization term. While including a strongly convex term in the subproblems of the classical conditional gradient (CG) method improves its rate of convergence, it does not cost per iteration as much as general proximal type algorithms. More specifically, we present a unified analysis for the CGT method in the sense that it achieves the best-known rate of convergence when the weakly smooth term is nonconvex and possesses (nearly) optimal complexity if it turns out to be convex. While implementation of the CGT method requires explicitly estimating problem parameters like the level of smoothness of the first term in the objective function, we also present a few variants of this method which relax such estimation. Unlike general proximal type parameter free methods, these variants of the CGT method do not require any additional effort for computing (sub)gradients of the objective function and/or solving extra subproblems at each iteration. We then generalize these methods under stochastic setting and present a few new complexity results. To the best of our knowledge, this is the first time that such complexity results are presented for solving stochastic weakly smooth nonconvex and (strongly) convex optimization problems.

研究动机与目标

• 开发一种统一的条件梯度类型（CGT）方法，用于处理包含弱光滑项与强凸项的复合优化问题。
• 在非凸弱光滑问题中实现目前已知最优的迭代复杂度，并在问题为凸时达到近乎最优的收敛速率。
• 设计无参数变体，避免显式估计光滑性参数，且不增加额外计算成本。
• 将CGT框架扩展至仅能获取噪声梯度的随机设置中。
• 为随机弱光滑非凸与强凸优化问题建立新的复杂度界。

提出的方法

• 通过在凸集上最小化光滑项的线性逼近与正则化项之和来求解子问题，避免了类似近端的子问题。
• 采用回溯线搜索或基于问题参数的固定步长，通过涉及梯度映射与Bregman距离的下降不等式分析收敛性。
• 关键组件包括梯度映射 $ g_{X,k} $、序列 $ y_k $ 以及更新规则 $ x_k = (1 - \alpha_k) y_{k-1} + \alpha_k s_k $，其中 $ s_k $ 为求解线性子问题的解。
• 在随机设置中，方法使用随机预言机访问并采用批量梯度，分析期望次优性与平稳性。
• 提出两阶段变体，通过多次运行与解的选择策略改善大偏差界。
• 理论分析基于梯度的Hölder连续性以及正则化项的强凸性（参数 $ \mu \geq 0 $）

实验结果

研究问题

• RQ1 条件梯度类型方法能否在弱光滑非凸复合问题中实现最优的迭代复杂度？
• RQ2 此类方法能否在不显式掌握光滑性参数的前提下，保持较低的每次迭代成本？
• RQ3 在仅提供噪声梯度信息的随机设置下，CGT方法的迭代复杂度是多少？
• RQ4 该方法能否实现统一化设计，自动适应凸性，在非凸与凸情形下均达到最优收敛速率？
• RQ5 与现有一阶方法相比，该方法在弱光滑随机优化中的随机变体复杂度如何？

主要发现

• CGT方法在非凸弱光滑问题中实现 $ \mathcal{O}(1/\epsilon) $ 的迭代复杂度以找到 $ \epsilon $-平稳点，与目前已知最优界一致。
• 在凸弱光滑问题中，该方法实现 $ \mathcal{O}(1/\epsilon^{\frac{1-\nu}{1+3\nu}}) $ 的复杂度，与最优界仅相差对数因子。
• 在光滑情形（$ \nu = 1 $）下，随机变体在非凸问题中实现 $ \mathcal{O}(1/\epsilon^2) $ 的预言机复杂度，已达到最优（对数因子内）。
• 当 $ f $ 为凸且光滑时，随机方法实现 $ \mathcal{O}(1/\epsilon \log(1/\epsilon)) $ 的复杂度，已达到最优（对数因子内）。
• 无参数变体避免了对 $ L_\nu $ 的估计，且无需额外的梯度或子问题计算，保持了低每次迭代成本。
• 首次建立了弱光滑非凸与强凸随机优化问题的复杂度界，填补了文献中的空白。