[论文解读] Inexact Relative Smoothness and Strong Convexity for Optimization and Variational Inequalities by Inexact Model

Fedor Stonyakin, Alexander Tyurin+7 more|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques参考文献 80被引用 14

一句话总结

本文提出了一种统一的不精确模型框架，用于一阶优化与变分不等式，将相对光滑性和强凸性泛化，从而实现自适应、通用的算法，并获得最优收敛速率。该框架无需预先知晓光滑性信息，即可同时处理光滑与非光滑问题，推导出新型算法，如一种通用的条件梯度方法和一种用于变分不等式的通用镜像-近似（Mirror-Prox）方法，在强单调性条件下实现线性收敛。

ABSTRACT

In this paper, we propose a general algorithmic framework for first-order methods in optimization in a broad sense, including minimization problems, saddle-point problems, and variational inequalities. This framework allows obtaining many known methods as a special case, the list including accelerated gradient method, composite optimization methods, level-set methods, Bregman proximal methods. The idea of the framework is based on constructing an inexact model of the main problem component, i.e. objective function in optimization or operator in variational inequalities. Besides reproducing known results, our framework allows constructing new methods, which we illustrate by constructing a universal conditional gradient method and a universal method for variational inequalities with a composite structure. This method works for smooth and non-smooth problems with optimal complexity without a priori knowledge of the problem's smoothness. As a particular case of our general framework, we introduce relative smoothness for operators and propose an algorithm for variational inequalities (VIs) with such operators. We also generalize our framework for relatively strongly convex objectives and strongly monotone variational inequalities. This paper is an extended and updated version of [arXiv:1902.00990]. In particular, we add an extension of relative strong convexity for optimization and variational inequalities.

研究动机与目标

• 在单一不精确模型框架下，统一并推广一阶优化与变分不等式中的方法。
• 实现自适应、无参数的算法，对光滑与非光滑问题均达到最优复杂度。
• 将相对光滑性与强凸性范式推广至变分不等式与鞍点问题。
• 开发新型算法（如通用条件梯度方法与重启版镜像-近似方法），在无需预先知晓问题参数的情况下实现最优收敛。
• 分析辅助最小化步骤中不精确性对收敛性的影响，并建立鲁棒的收敛保证。

提出的方法

• 提出使用代理函数 ψδ(x, y) 与 Bregman 散度的一般化不精确目标函数模型，推广经典模型与相对光滑性概念。
• 引入 (δ, L, µ, V)-模型框架用于变分不等式，允许算子模型中的不精确性，从而支持自适应与加速算法。
• 为强单调变分不等式设计一种重启镜像-近似算法，实现线性收敛，迭代复杂度为 O((LΩ)/µ) log(R₀²/ε)，与已知下界一致。
• 通过结合快速梯度法与不精确投影，将该框架应用于推导通用条件梯度方法。
• 利用重启技术与模型的强凸性，实现 µ-强凸性条件下的线性收敛速率。
• 通过归纳法与对偶论证建立收敛速率，利用 Bregman 散度与近端设置的性质。

实验结果

研究问题

• RQ1 是否可设计单一不精确模型框架，统一已知的一阶方法（如梯度法、条件梯度法与近端法）？
• RQ2 如何将相对光滑性与强凸性范式推广至变分不等式与鞍点问题？
• RQ3 能否为变分不等式构造出通用（自适应）算法，实现最优收敛，且无需预先知晓光滑性或强凸性参数？
• RQ4 模型与辅助最小化中的不精确性对收敛速率有何影响？
• RQ5 该框架能否扩展至包含块坐标下降与具有高概率保证的随机优化？

主要发现

• 所提出的不精确模型框架将经典梯度法、相对光滑性与 Bregman 近端方法作为特例统一涵盖。
• 构建了一种通用条件梯度方法，对光滑问题实现最优 O(1/N²) 收敛速率，对非光滑问题实现 O(1/N) 收敛速率，且无需调参。
• 对于强单调变分不等式，重启镜像-近似算法实现线性收敛，迭代复杂度为 O((LΩ)/μ) log(R₀²/ε)，与已知下界一致。
• 在模型满足 m-强凸性条件下，收敛速率改善为 ∥xₚ − x∗∥² ≤ R₀²·2⁻ᵖ + 2δ/(m+μ) + 4ẽδ/(m+μ)，迭代次数为 O((LΩ)/(m+μ)) log(R₀²/ε)。
• 该框架支持随机与块坐标扩展，在子高斯噪声假设下，高概率收敛速率可达 O(LR²/N² + δ′₁/√N + N⁻¹δ′₂)。
• 分析表明，收敛对辅助最小化中的不精确性具有鲁棒性，最终迭代间隙中的误差项受 δ 与 ẽδ 有界。