[论文解读] Halpern Iteration for Near-Optimal and Parameter-Free Monotone Inclusion and Strong Solutions to Variational Inequalities

Jelena Diakonikolas|arXiv (Cornell University)|Feb 20, 2020

Optimization and Variational Analysis参考文献 32被引用 4

一句话总结

本文提出了一类近似最优、无需参数调节的算法，用于解决单调包含问题与变分不等式问题，采用Halpern迭代方法，实现了在对数因子范围内的最优收敛速率。通过建立非扩张映射、单调算子与邻近映射之间的联系，本文建立了紧致的迭代复杂度界，并通过归约与下界分析证明了方法的最优性。

ABSTRACT

We leverage the connections between nonexpansive maps, monotone Lipschitz operators, and proximal mappings to obtain near-optimal (i.e., optimal up to poly-log factors in terms of iteration complexity) and parameter-free methods for solving monotone inclusion problems. These results immediately translate into near-optimal guarantees for approximating strong solutions to variational inequality problems, approximating convex-concave min-max optimization problems, and minimizing the norm of the gradient in min-max optimization problems. Our analysis is based on a novel and simple potential-based proof of convergence of Halpern iteration, a classical iteration for finding fixed points of nonexpansive maps. Additionally, we provide a series of algorithmic reductions that highlight connections between different problem classes and lead to lower bounds that certify near-optimality of the studied methods.

研究动机与目标

• 开发用于求解Lipschitz连续算子下单调包含问题的无需参数调节、近似最优算法。
• 通过Halpern迭代，为变分不等式与极小极大优化问题建立紧致的迭代复杂度界。
• 在预言机模型下，通过算法归约与下界分析，证明所提方法的最优性。
• 阐明单调包含、非扩张映射的不动点与邻近点方法之间的关系。
• 弥合在不同算子条件下单调包含问题的上界与下界之间的差距。

提出的方法

• 以Halpern迭代作为核心算法框架：$\mathbf{u}_{k+1} = \lambda_{k+1}\mathbf{u}_0 + (1 - \lambda_{k+1})T(\mathbf{u}_k)$，其中$T$为非扩张映射。
• 提出一种基于新势函数的证明方法，确保Halpern迭代收敛至$\ell_2$-范数下最接近的不动点。
• 通过邻近映射与算子提升，将单调包含问题归约为非扩张映射的不动点问题。
• 应用算法归约，将单调包含问题与变分不等式、极小极大优化及梯度范数最小化问题相联系。
• 在算子预言机模型下推导下界，以验证在不同算子类下所提方法的近似最优性。
• 采用重启与自适应步长策略，在强单调与利普希茨连续算子设定下实现最优复杂度。

实验结果

研究问题

• RQ1 能否将Halpern迭代调整为适用于Lipschitz算子下单调包含问题的近似最优、无需参数调节的算法？
• RQ2 在$L$-Lipschitz、$m$-强单调与$\frac{1}{L}$-cocoercive设定下，求解单调包含问题的最优迭代复杂度是多少？
• RQ3 所提算法在收敛保证与迭代复杂度方面相较于现有方法有何优势？
• RQ4 能否在预言机模型下推导出紧致的下界，以验证所提方法的最优性？
• RQ5 单调包含、非扩张映射的不动点与邻近点方法之间存在何种关系？

主要发现

• 所提基于Halpern的算法在$L$-Lipschitz算子下达到$O\left(\frac{LD^2}{\epsilon}\log\left(\frac{LD}{\epsilon}\right)\right)$的迭代复杂度，与下界相比仅差对数因子。
• 对于$\frac{1}{L}$-cocoercive算子，该方法实现$O\left(\frac{LD}{\epsilon}\log\left(\frac{LD}{\epsilon}\right)\right)$的复杂度，与下界相比仅差$\log(D/\epsilon)$因子。
• 在$m$-强单调情形下，重启变体达到$O\left(\frac{L}{m}\log\left(\frac{LD}{\epsilon}\right)\log\left(\frac{L}{m}\right)\right)$的复杂度，与下界相比仅差对数因子。
• 本文证明，在$\lambda_k$满足弱条件时，Halpern迭代收敛至非扩张映射的$\ell_2$-范数下最接近的不动点。
• 下界分析表明，所提方法在所有考虑的设定下均达到最优性，仅差对数因子。
• 结果表明，该方法对近似求解变分不等式的强解与极小极大优化中梯度范数最小化问题，均具有近似最优的保证。