[论文解读] Forward-backward-forward methods with variance reduction for stochastic variational inequalities

Radu Ioan Boţ, Panayotis Mertikopoulos+2 more|arXiv (Cornell University)|Feb 9, 2019

Sparse and Compressive Sensing Techniques参考文献 4被引用 13

一句话总结

本文提出了一种新型的带方差减少的随机前向-后向-前向算法，用于求解伪单调随机变分不等式。通过将方差减少技术整合到Tseng的前向-后向-前向框架中，该方法在每次迭代中仅需一次投影，即可实现几乎必然收敛，其收敛速度和复杂度优于现有的随机外梯度方法。

ABSTRACT

We develop a new stochastic algorithm with variance reduction for solving pseudo-monotone stochastic variational inequalities. Our method builds on Tseng's forward-backward-forward (FBF) algorithm, which is known in the deterministic literature to be a valuable alternative to Korpelevich's extragradient method when solving variational inequalities over a convex and closed set governed by pseudo-monotone, Lipschitz continuous operators. The main computational advantage of Tseng's algorithm is that it relies only on a single projection step and two independent queries of a stochastic oracle. Our algorithm incorporates a variance reduction mechanism and leads to almost sure (a.s.) convergence to an optimal solution. To the best of our knowledge, this is the first stochastic look-ahead algorithm achieving this by using only a single projection at each iteration..

研究动机与目标

• 解决由于高维或难以处理的积分导致期望值算子不可计算时，求解随机变分不等式的问题。
• 开发一种随机算法，在保持Tseng前向-后向-前向方法计算效率的同时，实现在更弱单调性假设下的收敛性。
• 将方差减少技术整合到随机前向-后向-前向框架中，以提升收敛速度和稳定性。
• 在算子满足伪单调性和Lipschitz连续性条件下，为所提方法建立几乎必然收敛的保证。
• 通过实验验证，该方法在迭代次数和收敛速度方面优于现有的随机外梯度方法。

提出的方法

• 通过在每次迭代中使用随机预言机对算子 $ F(x, \xi) $ 进行采样，将Tseng的前向-后向-前向方法扩展到随机设置。
• 采用两点随机预言机方案：在当前迭代点 $ x_n $ 和一个预测的外推点 $ y_n $ 处各进行一次评估，以近似前向-后向-前向步骤。
• 通过使用历史梯度估计作为控制变量子技术，引入方差减少机制，以降低随机算子评估中的噪声。
• 该方法采用递减步长规则，并在算子满足伪单调性和Lipschitz连续性条件下，确保几乎必然收敛到随机变分不等式的解。
• 该算法每次迭代仅执行一次欧几里得投影，保持计算效率的同时提升了收敛稳定性。
• 理论分析基于鞅差序列和随机误差的矩界，利用条件期望技术控制迭代值的方差。

实验结果

研究问题

• RQ1 是否能够设计一种带方差减少的随机前向-后向-前向方法，使其在伪单调随机变分不等式下实现几乎必然收敛？
• RQ2 所提方法在收敛速度和迭代复杂度方面是否优于标准的随机外梯度方法？
• RQ3 是否能够有效将方差减少技术集成到仅需每次迭代一次投影的前向-后向-前向框架中？
• RQ4 该方法在弱单调性假设（如伪单调性）下是否具有鲁棒性，而非强单调性或单调性？
• RQ5 方差减少机制在数值实验中对收敛的稳定性和速度有何影响？

主要发现

• 所提出的SFBF算法在算子满足伪单调性和Lipschitz连续性条件下，能够几乎必然收敛到随机变分不等式的解。
• 该方法每次迭代仅需一次投影，因此在计算效率上优于标准的随机外梯度方法。
• 数值实验表明，SFBF在收敛速度和迭代次数方面始终优于随机外梯度方法（SEG），尤其是在非对称博弈中表现更优。
• 方差减少机制显著降低了随机梯度中的噪声，从而实现更快且更稳定的收敛。
• 理论分析利用鞅技术建立了随机误差的矩界，误差衰减速度为 $ O(1/\sqrt{m_{n+1}}) $，其中 $ m_{n+1} $ 为每次迭代的采样数。
• 该方法是首个结合方差减少的随机前瞻算法，仅通过每次迭代一次投影即可实现几乎必然收敛。