[论文解读] Generalized Mirror Prox for Monotone Variational Inequalities: Universality and Inexact Oracle

Fedor Stonyakin, Alexander Gasnikov+3 more|arXiv (Cornell University)|Jun 13, 2018

Optimization and Variational Analysis参考文献 19被引用 15

一句话总结

本文提出了一种适用于具有 Hölder 连续算子的单调变分不等式的通用广义镜像逼近算法，采用一种考虑可控误差与不可控误差的不精确预言机模型。该方法在无需事先知晓 Hölder 指数或常数的情况下，实现了最优收敛复杂度，并可扩展至强单调问题与鞍点问题，具有理论保证。

ABSTRACT

We introduce an inexact oracle model for variational inequalities (VI) with monotone operator, propose a numerical method which solves such VI's and analyze its convergence rate. As a particular case, we consider VI's with Hölder-continuous operator and show that our algorithm is universal. This means that without knowing the Hölder parameter $ν$ and Hölder constant $L_ν$ it has the best possible complexity for this class of VI's, namely our algorithm has complexity $O\left( \inf_{ν\in[0,1]}\left(\frac{L_ν}{\varepsilon} ight)^{\frac{2}{1+ν}}R^2 ight)$, where $R$ is the size of the feasible set and $\varepsilon$ is the desired accuracy of the solution. We also consider the case of VI's with strongly monotone operator and generalize our method for VI's with inexact oracle and our universal method for this class of problems. Finally, we show, how our method can be applied to convex-concave saddle point problems with Hölder-continuous partial subgradients.

研究动机与目标

• 开发一种适用于单调变分不等式的通用数值方法，能够自适应未知的 Hölder 平滑性，而无需知晓 Hölder 指数或常数。
• 形式化并分析变分不等式中不精确预言机的概念，区分可控误差与不可控误差。
• 将广义镜像逼近算法扩展至具有 Hölder 连续次梯度的强单调算子与鞍点问题。
• 在标准与强单调设置下，为所提方法建立紧致的复杂度界。
• 通过将 Hölder 连续算子建模为不精确预言机，弥合通用优化方法与变分不等式求解器之间的差距。

提出的方法

• 提出一种新颖的不精确预言机模型用于单调变分不等式，其中算子通过可控误差 $\delta_c$ 和不可控误差 $\delta_u$ 进行近似。
• 提出一种使用 Bregman 投影和自适应步长的广义镜像逼近算法，以处理不精确预言机并保持收敛性。
• 通过分析解集的近端距离，利用 Bregman 散度与算子的 Hölder 连续性，推导收敛速率。
• 通过一种无需知晓 $L_\nu$ 或 $\nu$ 的自适应线搜索策略建立复杂度界，确保方法的通用性。
• 通过将部分次梯度建模为具有 $\delta_u = 4\delta$ 和 $\delta_c = 0$ 的不精确预言机，将该方法应用于凸-凹鞍点问题。
• 将算法推广至强单调算子，实现在复杂度界中对精度 $\varepsilon$ 的对数依赖。

实验结果

研究问题

• RQ1 能否设计一种适用于单调变分不等式的通用算法，使其能自适应未知的 Hölder 平滑性，而无需知晓 Hölder 指数或常数？
• RQ2 如何为变分不等式形式化不精确预言机模型，以区分可控误差与不可控误差？
• RQ3 对于具有 Hölder 连续算子的单调变分不等式，其最优收敛复杂度是多少？能否在不事先知晓平滑性参数的情况下实现该复杂度？
• RQ4 广义镜像逼近算法能否扩展至具有不精确预言机的强单调变分不等式与鞍点问题？
• RQ5 如何形式化并利用通用优化与变分不等式中不精确预言机方法之间的联系？

主要发现

• 所提算法在无需知晓 $L_\nu$ 或 $\nu$ 的情况下，实现了单调变分不等式中具有 Hölder 连续算子的最优最坏情况复杂度 $O\left(\inf_{\nu\in[0,1]}\left(\frac{L_\nu}{\varepsilon}\right)^{\frac{2}{1+\nu}}R^{2}\right)$。
• 对于强单调算子，该方法实现了复杂度 $O\left(\inf_{\nu\in[0,1]}\left(\frac{L_\nu}{\mu}\right)^{\frac{2}{1+\nu}}\frac{1}{\varepsilon^{\frac{1-\nu}{1+\nu}}}\cdot\log_{2}\frac{R^{2}}{\varepsilon}\right)$，实现了对精度的对数依赖。
• 该方法具有通用性：能自动适应问题实例的实际平滑水平，与该类问题的理论下界完全匹配。
• 不精确预言机模型成功捕捉了现实世界中的不确定性，例如在具有噪声或近似次梯度的鞍点问题中出现的情况。
• 该算法可应用于具有 Hölder 连续部分次梯度的凸-凹鞍点问题，在对偶间隙中实现 $\varepsilon$-精度，误差项为 $O(\delta_u + \delta_c)$。
• 理论框架可扩展至不精确相对光滑性与强凸性，如后续工作 [60] 所示，表明其在更广泛问题类别中具有广泛适用性。