[论文解读] A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization

Renbo Zhao|arXiv (Cornell University)|Mar 9, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用 8

一句话总结

本文提出了一种原始-对偶平滑框架，用于求解最大结构非凸优化问题，利用一种新颖的非希尔伯特空间内非精确加速近端梯度方法求解凸-凹鞍点问题。该方法在原始和对偶梯度计算方面实现了改进的Oracle复杂度界，首次在该设置下提供了对偶间隙收敛保证，并在受限情况下优于现有方法。

ABSTRACT

We propose a primal-dual smoothing framework for finding a near-stationary point of a class of non-smooth non-convex optimization problems with max-structure. We analyze the primal and dual gradient complexities of the framework via two approaches, i.e., the dual-then-primal and primal-the-dual smoothing approaches. Our framework improves the best-known oracle complexities of the existing method, even in the restricted problem setting. As an important part of our framework, we propose a first-order method for solving a class of (strongly) convex-concave saddle-point problems, which is based on a newly developed non-Hilbertian inexact accelerated proximal gradient algorithm for strongly convex composite minimization that enjoys duality-gap convergence guarantees. Some variants and extensions of our framework are also discussed.

研究动机与目标

• 解决在非光滑、非凸优化问题中寻找近似驻点的挑战，该问题具有最大结构。
• 通过开发统一的原始-对偶平滑框架，改进现有方法的Oracle复杂度。
• 为强凸-凹鞍点问题中的新型非希尔伯特空间内非精确加速近端梯度算法建立收敛保证。
• 通过先对偶后原始和先原始后对偶的平滑方法，分析原始和对偶梯度复杂度。
• 将该框架扩展至随机和结构化优化设置，实现具有实际收敛速率的性能。

提出的方法

• 该框架引入一种平滑技术，通过原始-对偶公式将原始的最大结构问题转化为凸-凹鞍点问题。
• 采用非希尔伯特空间内非精确加速近端梯度方法求解强凸-凹鞍点问题，确保对偶间隙收敛。
• 利用Bregman近端投影框架处理“简单”正则化项 $ r $ 和 $ g $，实现近端步骤的高效计算。
• 开发了两种复杂度分析路径：先对偶后原始和平滑，以及先原始后对偶平滑，从而获得对梯度Oracle使用量的紧致界。
• 关键组件是使用平滑参数 $ ho $ 来近似最大结构，其收敛性与对偶间隙 $ ho \omega_Y(y) $ 相关联。
• 该算法结合了受控误差 $ \eta $ 的随机Oracle模型，并使用具有 $ \lambda $-强凸性的随机近端步骤，以确保收敛。

实验结果

研究问题

• RQ1 原始-对偶平滑框架能否在最大结构非凸问题上实现优于现有方法的Oracle复杂度？
• RQ2 在具有最大结构的非凸、非光滑优化中，原始与对偶梯度复杂度之间最优权衡为何？
• RQ3 非希尔伯特空间内非精确加速近端梯度方法能否在凸-凹鞍点问题中实现对偶间隙收敛？
• RQ4 在先前方法已被证明最优的受限设置下，该框架表现如何？
• RQ5 在随机和确定性变体中，近端残差和对偶间隙的收敛速率为何？

主要发现

• 与现有方法相比，该框架在原始和对偶梯度复杂度界方面实现了改进，即使在受限问题设置中亦然。
• 非希尔伯特空间内非精确加速近端梯度算法以 $ O(1/t) $ 的速率实现对偶间隙收敛，其中 $ t $ 为迭代次数。
• 对于随机变体，期望近端残差满足 $ \mathbb{E}[\|\text{prox}(q,x_{\text{out}},\lambda) - x_{\text{out}}\|^2] \leq \varepsilon^2 \lambda^2 / \beta_{\mathcal{X}}^2 $，从而保证 $ \varepsilon $-平稳性。
• 对偶间隙收敛受以下界约束：$ \bar{\Delta}(z_t, \bar{v}_t) \leq \frac{2L_h \Omega_{\omega_{\mathcal{U}}}(u_0)}{A_t} + \frac{\sum_{i=0}^t A_i \delta_i}{A_t} $，其中 $ A_t $ 通过递归序列定义。
• 在标准假设下，该框架实现 $ O(1/\varepsilon^2) $ 的迭代复杂度以达到 $ \varepsilon $-平稳点，与已知界匹配或更优。
• 该方法对不精确梯度具有鲁棒性，即使在一阶Oracle中存在 $ \delta $-误差，收敛性仍可保持。