[论文解读] Stochastic Variance Reduction for Variational Inequality Methods
本文提出用于单调变分不等式的随机方差缩减算法，将外梯度法、前向-后向-前向法和前向-反射-后向法扩展至有限和设置。所提方法在收敛性保证上与确定性对应方法一致，并在仅需单调性假设下，匹配或优于凸-凹鞍点问题的最佳已知复杂度界，无需有界域假设。
We propose stochastic variance reduced algorithms for solving convex-concave saddle point problems, monotone variational inequalities, and monotone inclusions. Our framework applies to extragradient, forward-backward-forward, and forward-reflected-backward methods both in Euclidean and Bregman setups. All proposed methods converge in the same setting as their deterministic counterparts and they either match or improve the best-known complexities for solving structured min-max problems. Our results reinforce the correspondence between variance reduction in variational inequalities and minimization. We also illustrate the improvements of our approach with numerical evaluations on matrix games.
研究动机与目标
- 填补变分不等式中缺乏与最小化问题中同样简洁且鲁棒的方差缩减技术的空白。
- 开发仅在单调性假设下收敛的随机算法，无需有界域或更强假设。
- 在有限和设置下，实现与现有最优率相匹配或更优的复杂度界，适用于结构化极小-极大问题。
- 将方差缩减推广至Bregman设置与单调包含问题，首次在文献中实现此类结果。
- 通过在矩阵博弈和现有方差缩减方案上的数值比较，展示实际优势。
提出的方法
- 为有限和单调变分不等式提出外梯度（EG）、前向-后向-前向（FBF）和前向-反射-后向（FoRB）方法的随机变体。
- 采用受随机逼近启发的方差缩减机制，其中梯度估计结合参考点处的完整梯度与采样分量。
- 应用三点恒等式与Bregman散度恒等式，在欧几里得与Bregman设置下推导稳定性和收敛性界。
- 引入双层结构，包含内层与外层迭代，以在仅依赖单调性下降低方差并保持收敛性。
- 利用最小化中与变分不等式中方差缩减之间的对应关系，统一算法设计。
- 采用带控制变量的递归更新规则，以降低随机算子评估的方差。
实验结果
研究问题
- RQ1能否在不引入更强假设的前提下，自然地将最小化中的方差缩减技术扩展至单调变分不等式？
- RQ2具有有限和结构的凸-凹鞍点问题的随机算法最优复杂度是什么？
- RQ3能否在仅依赖单调性下，将随机方差缩减应用于前向-反射-后向法与前向-后向-前向法并保持收敛性？
- RQ4所提算法是否优于现有需有界域或额外凸性假设的随机方法？
- RQ5方差缩减能否推广至单调包含与Bregman设置，并实现更优的收敛速率？
主要发现
- 所提随机算法仅在单调性假设下收敛，其收敛性保证与确定性对应方法一致。
- 对于双线性问题，方法达到最优已知复杂度阶 $\mathcal{O}(N + \frac{\sqrt{N}L}{\varepsilon})$，与最先进结果一致。
- 对于非双线性问题，算法在最佳已知复杂度基础上实现对数因子改进，且无需有界域假设。
- 该框架适用于欧几里得与Bregman设置下的外梯度法、前向-后向-前向法与前向-反射-后向法。
- 该方法建立了变分不等式中方差缩减与最小化中方差缩减之间的基本对应关系，解决了长期存在的理解鸿沟。
- 在矩阵博弈上的数值评估表明，所提方法在实际性能上优于确定性方法与现有随机方差缩减方案。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。