[论文解读] Conditional extragradient algorithms for solving variational inequalities

Yunier Bello-Cruz, R. Díaz Millán+1 more|arXiv (Cornell University)|Nov 17, 2014

Optimization and Variational Analysis参考文献 31被引用 4

一句话总结

本文提出了一种条件性外梯度算法，通过引入可行集的非零法向量来增强收敛性，以求解约束型变分不等式问题。通过采用两种Armijo类型线搜索策略——一种基于边界投影，另一种基于可行方向——该方法在较弱假设下实现了收敛，包括算子连续性以及弱于伪单调性的条件，从而扩大了经典外梯度方法可求解问题的范围。

ABSTRACT

In this paper, we generalize the classical extragradient algorithm for solving variational inequality problems by utilizing nonzero normal vectors of the feasible set. In particular, conceptual algorithms are proposed with two different linesearchs. We then establish convergence results for these algorithms under mild assumptions. Our study suggests that nonzero normal vectors may significantly improve convergence if chosen appropriately.

研究动机与目标

• 开发更高效的外梯度算法变体，以求解约束型变分不等式问题（VIPs）。
• 利用可行集的非零法向量来改善迭代方法中的收敛行为。
• 在弱于伪单调性的假设下建立收敛性，如算子连续性和解的存在性。
• 通过引入基于法向量信息的条件性线搜索策略，推广经典外梯度格式。

提出的方法

• 提出两种概念性的条件性外梯度算法，利用非零法向量定义包含解集的半空间。
• 在可行集边界上采用Armijo类型线搜索，通过内层循环中的投影法线搜索确定步长。
• 采用另一种基于可行方向的Armijo类型线搜索，每轮外迭代仅需一次投影。
• 应用一种条件性线搜索策略，根据包含法向量和算子值评估的下降型条件动态选择步长。
• 将外梯度格式表述为三步：预测（z^k）、凸组合（y^k）和最终投影（x^{k+1}）至可行集。
• 采用两种不同的线搜索机制：一种基于算子值差的范数，另一种基于内积下降条件。

实验结果

研究问题

• RQ1 可行集的非零法向量能否在变分不等式问题的外梯度型算法中有效提升收敛性？
• RQ2 线搜索策略如何适应法向量信息，同时在弱假设下保持收敛性？
• RQ3 与标准外梯度方法相比，基于法向量的条件性线搜索对性能有何影响？
• RQ4 是否可以在不假设算子Lipschitz连续性或强单调性的情况下建立收敛性？
• RQ5 所提方法在适用性上，对非单调或弱伪单调算子的推广程度如何？

主要发现

• 所提算法在算子连续性和至少存在一个解的假设下，对变分不等式问题实现了收敛，无需伪单调性假设。
• 利用非零法向量可构造包含解集的半空间，从而支持更长的步长并改善收敛行为。
• 基于边界投影的Armijo类型线搜索在单调性和连续性假设下确保收敛，即使在无Lipschitz连续性时亦成立。
• 基于可行方向的替代线搜索策略每轮外迭代仅需一次投影，显著提升了计算效率。
• 数值实验表明，引入法向量可加速早期迭代的收敛，暗示其在混合算法中具有潜力。
• 该方法通过放宽对强单调性或Lipschitz连续性的需求，扩大了可求解VIPs的类别。