[论文解读] A Unifying Framework of Accelerated First-Order Approach to Strongly Monotone Variational Inequalities

Kevin Huang, Shuzhong Zhang|arXiv (Cornell University)|Mar 29, 2021

Sparse and Compressive Sensing Techniques参考文献 24被引用 4

一句话总结

本文提出了一种统一框架，用于加速求解强单调变分不等式（VIs）的首阶方法，将基于动量的搜索方向（如外梯度法、OGDA、动量法和Nesterov外推法）整合到单一方案中。该框架在VIs问题上实现了最优迭代复杂度$\mathcal{O}(\kappa\ln(1/\epsilon))$，在强凸优化问题上实现了$\mathcal{O}(\sqrt{\kappa}\ln(1/\epsilon))$的复杂度，且在参数调优方面具有灵活性，可适配不同问题结构。

ABSTRACT

In this paper, we propose a unifying framework incorporating several momentum-related search directions for solving strongly monotone variational inequalities. The specific combinations of the search directions in the framework are made to guarantee the optimal iteration complexity bound of $\mathcal{O}\left(κ\ln(1/ε) ight)$ to reach an $ε$-solution, where $κ$ is the condition number. This framework provides the flexibility for algorithm designers to train -- among different parameter combinations -- the one that best suits the structure of the problem class at hand. The proposed framework includes the following iterative points and directions as its constituents: the extra-gradient, the optimistic gradient descent ascent (OGDA) direction (aka "optimism"), the "heavy-ball" direction, and Nesterov's extrapolation points. As a result, all the afore-mentioned methods become the special cases under the general scheme of extra points. We also specialize this approach to strongly convex minimization, and show that a similar extra-point approach achieves the optimal iteration complexity bound of $\mathcal{O}(\sqrtκ\ln(1/ε))$ for this class of problems.

研究动机与目标

• 开发一个统一框架，整合多种基于动量的搜索方向，用于求解强单调变分不等式（VIs）。
• 实现强单调VIs的最优迭代复杂度界$\mathcal{O}(\kappa\ln(1/\epsilon))$，其中$\kappa$为条件数。
• 将框架扩展至强凸优化问题，实现$\mathcal{O}(\sqrt{\kappa}\ln(1/\epsilon))$的迭代复杂度。
• 为算法设计者提供灵活的参数组合选择，以适配特定问题结构。
• 通过数值实验表明，该额外点框架可实现灵活且有效的加速，超越固定方法如Nesterov法或外梯度法。

提出的方法

• 该框架引入一种额外点方案，通过结合外梯度法、OGDA、动量法和Nesterov外推法的搜索方向，广义化多种首阶方法。
• 采用统一的更新规则，利用参数$t_1, t_2, \dots, t_9$控制每种动量方向的贡献。
• 在强单调性和Lipschitz连续性假设下，通过精心平衡动量项与梯度项，确保收敛并实现最优迭代复杂度。
• 通过设定$y^k = p^k$，将框架特化为强凸优化问题，将VI公式转化为最小化问题。
• 通过数值实验进行参数调优，识别出适用于二次与非二次问题的有效参数组合。
• 理论分析推导出最坏情况下的迭代复杂度界，证明在给定复杂度下界下具有最优性。

实验结果

研究问题

• RQ1 能否通过单一框架统一求解强单调变分不等式的多种基于动量的首阶方法？
• RQ2 所提出的额外点框架是否能实现强单调VIs的最优迭代复杂度$\mathcal{O}(\kappa\ln(1/\epsilon))$？
• RQ3 该框架能否扩展至强凸优化问题，并实现$\mathcal{O}(\sqrt{\kappa}\ln(1/\epsilon))$的复杂度？
• RQ4 在实际中，不同动量分量（如乐观性、动量法）如何贡献于加速？
• RQ5 哪些参数组合在特定问题类别中表现最佳？

主要发现

• 所提出的框架在强单调变分不等式上实现了最优迭代复杂度$\mathcal{O}(\kappa\ln(1/\epsilon))$，与已知的下界一致。
• 通过适当的参数选择，该框架可作为外梯度法、OGDA、动量法和Nesterov方法的特例被包含在内。
• 在二次问题中，动量法表现最优，其次为Nesterov方法和额外点方法。
• 在非二次问题中，Nesterov方法与额外点方法表现相近，但依赖于不同的参数设置。
• 数值实验表明，加速效果具有灵活性，且依赖于问题结构，提示最优性能源于动量项的定制化组合。
• 本研究提示，机器学习技术可辅助指导优化算法中最佳参数组合的选择。