[论文解读] Enhanced First and Zeroth Order Variance Reduced Algorithms for Min-Max Optimization

Tengyu Xu, Zhe Wang+2 more|arXiv (Cornell University)|May 4, 2021

Machine Learning and Algorithms参考文献 7被引用 15

一句话总结

本文提出 SREDA-Boost，一种用于非凸-强凹极小极大优化的方差缩减算法，可在更大、与精度无关的步长和更宽松的初始化条件下实现最优收敛复杂度，显著提升了 SREDA 的实际运行速度。此外，本文还提出 ZO-SREDA-Boost，这是首个用于极小极大问题的零阶方差缩减算法，其在精度 ϵ 上的复杂度依赖关系优于先前方法。

ABSTRACT

Min-max optimization captures many important machine learning problems such as robust adversarial learning and inverse reinforcement learning, and nonconvex-strongly-concave min-max optimization has been an active line of research. Specifically, a novel variance reduction algorithm SREDA was proposed recently by (Luo et al. 2020) to solve such a problem, and was shown to achieve the optimal complexity dependence on the required accuracy level ϵ. Despite the superior theoretical performance, the convergence guarantee of SREDA requires stringent initialization accuracy and an ϵ-dependent stepsize for controlling the per-iteration progress, so that SREDA can run very slowly in practice. This paper develops a novel analytical framework that guarantees the SREDA's optimal complexity performance for a much enhanced algorithm SREDA-Boost, which has less restrictive initialization requirement and an accuracy-independent (and much bigger) stepsize. Hence, SREDA-Boost runs substantially faster in experiments than SREDA. We further apply SREDA-Boost to propose a zeroth-order variance reduction algorithm named ZO-SREDA-Boost for the scenario that has access only to the information about function values not gradients, and show that ZO-SREDA-Boost outperforms the best known complexity dependence on ϵ. This is the first study that applies the variance reduction technique to zeroth-order algorithm for min-max optimization problems.

研究动机与目标

• 为解决 SREDA 的实际效率低下问题，尽管其理论复杂度最优，但其对初始化要求严格且步长依赖于 ϵ。
• 开发一种新的分析框架，使在更宽松的算法条件下仍能实现最优收敛复杂度。
• 将方差缩减技术扩展至零阶极小极大优化，这一此前未被探索的领域。
• 设计一种零阶算法 ZO-SREDA-Boost，其在精度 ϵ 上的复杂度依赖关系优于现有方法。

提出的方法

• 通过引入一种新型分析框架，对 SREDA 算法进行改进，提出 SREDA-Boost，该框架将收敛保证与依赖 ϵ 的步长解耦。
• 引入更大、与精度无关的步长，可在保持最优复杂度的同时显著加快实际收敛速度。
• 通过确保从更广泛的初始点也能收敛，放宽了初始化要求，提升了算法鲁棒性。
• 通过使用函数值查询而非梯度，将方差缩减机制适配至零阶设置。
• 通过将增强的 SREDA-Boost 框架与零阶梯度估计技术相结合，提出 ZO-SREDA-Boost。
• 为 ZO-SREDA-Boost 建立理论收敛保证，表明其在 ϵ 上的复杂度依赖关系优于现有零阶极小极大方法。

实验结果

研究问题

• RQ1 是否可以在消除对依赖 ϵ 的步长和严格初始化的依赖的同时，保持 SREDA 的收敛复杂度最优？
• RQ2 如何在梯度不可用的零阶极小极大优化中有效扩展方差缩减技术？
• RQ3 零阶极小极大算法在 ϵ 上的最佳可能复杂度依赖关系是什么？能否实现？
• RQ4 能否设计一种 SREDA 的实用变体，在保持理论最优性的同时在实际中显著更快运行？
• RQ5 何种分析框架能够放松初始化和步长约束，而不牺牲收敛速率？

主要发现

• SREDA-Boost 在保持 SREDA 最优收敛复杂度的同时，采用更大、与精度无关的步长，从而实现更快的实际收敛速度。
• SREDA-Boost 的初始化鲁棒性提升，使其能从比 SREDA 更广泛的初始点可靠收敛。
• ZO-SREDA-Boost 是首个用于极小极大优化的零阶方差缩减算法，证明了在此设置中方差缩减的可行性和优势。
• ZO-SREDA-Boost 在 ϵ 上的复杂度依赖关系优于目前已知的最佳零阶极小极大算法。
• 实验结果表明，由于步长和初始化条件的改进，SREDA-Boost 在实际运行中显著快于 SREDA。
• 所提出的分析框架成功地将收敛保证与依赖 ϵ 的参数解耦，从而实现了更广泛的算法设计灵活性。