[论文解读] Accelerated Schemes For A Class of Variational Inequalities

Yunmei Chen, Guanghui Lan+1 more|arXiv (Cornell University)|Mar 17, 2014

Optimization and Variational Analysis参考文献 37被引用 10

一句话总结

本文提出了加速镜像-外梯度（AMP）方法，这是一种新颖的算法，将多步加速机制整合到镜像-外梯度框架中，用于求解确定性和随机变分不等式（VIs）。该方法在有界和无界可行集下均实现了最优的迭代复杂度，收敛速率取决于问题特定参数，如Lipschitz常数和初始点到强解的距离。

ABSTRACT

We propose a novel method, namely the accelerated mirror-prox (AMP) method, for computing the weak solutions of a class of deterministic and stochastic monotone variational inequalities (VI). The main idea of this algorithm is to incorporate a multi-step acceleration scheme into the mirror-prox method. For both deterministic and stochastic VIs, the developed AMP method computes the weak solutions with optimal rate of convergence. In particular, if the monotone operator in VI consists of the gradient of a smooth function, the rate of convergence of the AMP method can be accelerated in terms of its dependence on the Lipschitz constant of the smooth function. For VIs with bounded feasible sets, the estimate of the rate of convergence of the AMP method depends on the diameter of the feasible set. For unbounded VIs, we adopt the modified gap function introduced by Monteiro and Svaiter for solving monotone inclusion, and demonstrate that the rate of convergence of the AMP method depends on the distance from the initial point to the set of strong solutions.

研究动机与目标

• 开发一种高效算法，用于求解一类单调变分不等式（VIs），该算法利用算子的结构特性，特别是当其包含平滑梯度分量时。
• 通过利用算子中的平滑性，弥合现有方法在VI问题中达到O(1/ε)但最优平滑优化可实现O(1/√ε)之间的迭代复杂度差距。
• 将加速方法的适用性扩展到具有噪声或不精确算子评估的随机VI问题，确保在不确定性下实现最优收敛。
• 通过引入基于Monteiro和Svaiter的间隙函数的修改版终止准则，处理无界可行集，确保在无需预先知晓到强解距离的情况下实现收敛。

提出的方法

• 通过将多步加速方案嵌入镜像-外梯度算法，提出加速镜像-外梯度（AMP）方法，从而提升收敛速度。
• 采用混合邻近外梯度框架，结合自适应步长和类似动量的更新机制，以在确定性和随机设置中加速收敛。
• 为无界VI问题引入修改后的间隙函数，使基于初始点到强解集距离的收敛性分析成为可能。
• 采用带加权平均迭代的递归更新规则，其中权重的选择旨在最小化对偶间隙的上界。
• 应用Jensen不等式和类似强凸性的估计，推导出用于界定迭代过程中期望对偶间隙的递归不等式。
• 通过分析对偶间隙和到解集距离的演化，结合Lipschitz连续性和强单调性假设，推导出收敛速率。

实验结果

研究问题

• RQ1 多步加速能否被有效整合到镜像-外梯度方法中，以提升包含平滑分量的变分不等式的收敛速率？
• RQ2 当算子包含平滑梯度项时，求解确定性和随机VI问题的最优迭代复杂度是多少？
• RQ3 在无法预先获知到强解集距离的情况下，如何保证无界可行集VI问题的收敛性？
• RQ4 与标准镜像-外梯度方法相比，该算法能否在减少计算成本（特别是梯度评估次数）的同时保持最优复杂度？
• RQ5 在随机设置下，收敛速率对Lipschitz常数、可行集直径和噪声方差等参数的依赖关系如何？

主要发现

• AMP方法在确定性和随机VI问题中均实现了最优的O(1/ε)迭代复杂度，与平滑优化的最佳已知界一致。
• 对于包含平滑分量的VI问题（即F包含∇G的情况），收敛速率对Lipschitz常数L_G有有利依赖，相比非平滑情形可实现更快收敛。
• 在有界情况下，收敛速率依赖于可行集的直径D，对偶间隙在T次迭代后以O(D²/T)的速率减小。
• 在无界情况下，收敛速率依赖于初始点到强解集的距离，且该算法在无需预先知晓该距离的情况下实现了O(1/T)的复杂度。
• 与标准镜像-外梯度方法相比，AMP方法通过每轮节省一次∇G评估，降低了计算成本，从而在实践中更具效率。
• 在随机VI问题中，当噪声方差有界时，算法实现了最优收敛，即使使用随机梯度，期望对偶间隙仍以O(1/T)的速率衰减。