[论文解读] Golden Ratio Algorithms for Variational Inequalities

Yura Malitsky|arXiv (Cornell University)|Mar 23, 2018

Optimization and Variational Analysis参考文献 53被引用 8

一句话总结

该论文提出了一种完全自适应、无需线搜索的算法，用于求解单调变分不等式，利用黄金分割比例动态计算步长。该算法在无全局Lipschitz连续性假设下，实现了遍历O(1/k)收敛速率，并在误差界条件下达到R-线性收敛速率，且每轮迭代仅需一次单调算子F的评估和一次近端映射，即使F不是全局Lipschitz连续的。

ABSTRACT

The paper presents a fully explicit algorithm for monotone variational inequalities. The method uses variable stepsizes that are computed using two previous iterates as an approximation of the local Lipschitz constant without running a linesearch. Thus, each iteration of the method requires only one evaluation of a monotone operator $F$ and a proximal mapping $g$. The operator $F$ need not be Lipschitz-continuous, which also makes the algorithm interesting in the area of composite minimization where one cannot use the descent lemma. The method exhibits an ergodic $O(1/k)$ convergence rate and $R$-linear rate, if $F, g$ satisfy the error bound condition. We discuss possible applications of the method to fixed point problems. We discuss possible applications of the method to fixed point problems as well as its different generalizations.

研究动机与目标

• 开发一种自适应、无需线搜索的算法，用于求解当算子F不是全局Lipschitz连续时的单调变分不等式。
• 在不依赖F的全局Lipschitz常数知识的前提下实现收敛，而该常数通常难以计算。
• 确保每轮迭代仅需一次F评估和一次近端映射，从而在效率上优于需要线搜索的方法。
• 在适当条件下（如误差界条件）建立遍历O(1/k)和R-线性收敛速率。
• 将该方法推广至复合最小化和不动点问题，并探讨惯性扩展和随机变体等推广形式。

提出的方法

• 该算法利用过去迭代点的凸组合来近似F的局部逆Lipschitz常数，从而避免使用线搜索。
• 采用黄金分割比例φ ≈ 1.618来定义外推步长，确保步长始终远离零。
• 每轮迭代计算 z^{k+1} = prox_{λg}(z̄^k - λF(z^k))，其中 z̄^k 是过去迭代点的加权平均。
• 步长λ基于黄金分割比例和连续迭代点之间差值的范数自适应选择。
• 该方法源自一个涉及非扩张与非扩张算子复合的不动点公式。
• 收敛性分析基于F的单调性以及近端算子的性质，无需对F施加全局Lipschitz连续性的假设。

实验结果

研究问题

• RQ1 能否设计一种无需线搜索的算法，用于求解单调变分不等式，并仅利用过去迭代点自适应地调整步长？
• RQ2 在不依赖F的全局Lipschitz常数的前提下，此类自适应方法可实现何种收敛速率？
• RQ3 在外推步长中使用黄金分割比例如何影响算法的稳定性和收敛性？
• RQ4 该方法能否推广至F不是全局Lipschitz连续的问题，如具有非Lipschitz梯度的复合最小化问题？
• RQ5 该方法在非单调或随机设置下的收敛行为具有何种含义？

主要发现

• 该算法在不依赖线搜索或F的全局Lipschitz连续性假设下，实现了单调变分不等式问题的遍历O(1/k)收敛速率。
• 在误差界条件下，该方法表现出R-线性收敛，表明在接近解时具有快速的局部收敛速度。
• 数值实验表明，自适应黄金分割算法（aGRAAL）在100至5000维的非单调问题中均表现出高成功率（99–100%）。
• 平均而言，当n=1000时，aGRAAL需667次迭代，当n=5000时需1532次迭代，即可达到∥F(z^k)∥ ≤ 10^{-6}的精度，显示出良好的可扩展性。
• 即使在F高度非线性（如包含超越函数sin和exp）的情况下，该算法仍保持鲁棒性，如在测试问题(79)中所示。
• 该算法计算高效，每轮迭代仅需一次F评估和一次近端映射，适用于大规模问题。