[论文解读] Simple and optimal methods for stochastic variational inequalities, I: operator extrapolation

Georgios Kotsalis, Guanghui Lan+1 more|arXiv (Cornell University)|Nov 5, 2020

Optimization and Variational Analysis参考文献 25被引用 16

一句话总结

本文提出用于求解确定性和随机变分不等式（VIs）的算子外推法（OE）方法，每轮迭代仅使用单次投影即可实现最优收敛速率。进一步提出随机算子外推法（SOE），首次建立平滑且强单调随机VI问题的最优复杂度，通过SBOE方法扩展至块结构问题。

ABSTRACT

In this paper we first present a novel operator extrapolation (OE) method for solving deterministic variational inequality (VI) problems. Similar to the gradient (operator) projection method, OE updates one single search sequence by solving a single projection subproblem in each iteration. We show that OE can achieve the optimal rate of convergence for solving a variety of VI problems in a much simpler way than existing approaches. We then introduce the stochastic operator extrapolation (SOE) method and establish its optimal convergence behavior for solving different stochastic VI problems. In particular, SOE achieves the optimal complexity for solving a fundamental problem, i.e., stochastic smooth and strongly monotone VI, for the first time in the literature. We also present a stochastic block operator extrapolations (SBOE) method to further reduce the iteration cost for the OE method applied to large-scale deterministic VIs with a certain block structure. Numerical experiments have been conducted to demonstrate the potential advantages of the proposed algorithms. In fact, all these algorithms are applied to solve generalized monotone variational inequality (GMVI) problems whose operator is not necessarily monotone. We will also discuss optimal OE-based policy evaluation methods for reinforcement learning in a companion paper.

研究动机与目标

• 解决在存在噪声或随机算子信息的场景下，求解随机变分不等式（VIs）时缺乏最优且简洁方法的问题。
• 提出一种新型算子外推（OE）方法，通过每轮迭代仅一次投影，实现对确定性广义单调VI的最优收敛。
• 通过随机算子外推法（SOE）将OE扩展至随机设置，在平滑且强单调随机VI中实现最优迭代复杂度。
• 提出随机块算子外推法（SBOE），以降低具有块结构的大规模确定性VI问题的计算成本。
• 通过数值实验展示这些方法在广义单调VI问题上的实际优势，并探讨其在强化学习与信号估计中的潜在应用。

提出的方法

• 提出算子外推（OE）方法，通过每轮迭代仅求解一个投影子问题来更新单一序列，受梯度投影启发但具备更优的收敛性质。
• 引入随机算子外推法（SOE），作为OE的随机变体，利用来自随机预言机的算子F的无偏估计，在广义单调性条件下保持最优收敛。
• 设计SBOE作为OE的块结构扩展，每轮仅处理部分块，降低每轮计算成本，同时保持收敛性保证。
• 利用广义单调性条件（3）与利普希茨连续性（2）推导收敛速率，在平滑性与强单调性下确保最优复杂度。
• 在更新规则中引入一种新颖的外推步骤，通过结合当前与历史梯度信息来预测下一个迭代点，从而提升收敛性能。
• 通过间隙函数分析建立收敛速率，其中弱间隙定义为 $\mathrm{gap}(\bar{x}) = \max_{x\in X} \langle F(x), \bar{x}-x \rangle $，并证明平滑单调VI问题中为 $\mathcal{O}(1/k)$ 收敛，强单调情况下同样为 $\mathcal{O}(1/k)$。

实验结果

研究问题

• RQ1 能否设计一种简单、仅使用单次投影的方法，实现对确定性广义单调变分不等式的最优收敛？
• RQ2 求解平滑且强单调随机变分不等式的最优迭代复杂度是多少？能否通过实用算法实现？
• RQ3 如何将算子外推框架扩展至具有块结构的大规模问题，以降低计算成本？
• RQ4 所提出的SOE方法能否应用于具有马氏噪声的强化学习中策略评估等复杂问题？
• RQ5 OE与SOE在广义单调性条件下的收敛行为如何？该条件包含但不仅限于单调与强单调算子。

主要发现

• OE方法在求解平滑且单调变分不等式时达到最优的 $\mathcal{O}(1/k)$ 收敛速率，与已知最佳复杂度界一致。
• SOE首次实现平滑且强单调随机VI问题的最优 $\mathcal{O}(1/\epsilon)$ 迭代复杂度，其中 $\epsilon$ 为目标精度。
• SBOE方法显著降低具有块结构的大规模确定性VI问题的每轮迭代成本，同时保持相同的收敛速率并提升计算效率。
• 数值实验表明，SOE在广义单调VI问题上相比现有随机外梯度与镜像近端方法，在收敛速度与鲁棒性方面表现更优。
• 所提方法适用于广泛问题类别，包括生成对抗网络（GANs）中的极小极大问题、基于广义线性模型的信号估计，以及强化学习中的策略评估。
• 理论分析证实，该方法在广义单调性条件（3）下收敛，该条件严格包含单调性与强单调性，从而在经典假设之外拓展了适用范围。