[论文解读] A Hölderian backtracking method for min-max and min-min problems

Jérôme Bolte, Lilian E. Glaudin+2 more|arXiv (Cornell University)|Jul 17, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用 4

一句话总结

该论文提出了一种新颖的回溯梯度方法，用于解决极小-极大和极小-极小优化问题，利用价值函数的霍尔德正则性实现自动、自适应的步长。在半代数结构和唯一性假设下，该方法以 $ O(\epsilon^{-[2+c]}) $ 的全局收敛速率收敛至临界点，其中 $ c $ 可忽略不计，并在生成对抗网络（GANs）和最优传输问题上表现出色。

ABSTRACT

We present a new algorithm to solve min-max or min-min problems out of the convex world. We use rigidity assumptions, ubiquitous in learning, making our method applicable to many optimization problems. Our approach takes advantage of hidden regularity properties and allows us to devise a simple algorithm of ridge type. An original feature of our method is to come with automatic step size adaptation which departs from the usual overly cautious backtracking methods. In a general framework, we provide convergence theoretical guarantees and rates. We apply our findings on simple GAN problems obtaining promising numerical results.

研究动机与目标

• 为对抗学习和博弈论中出现的非凸极小-极大和极小-极小问题设计一种稳健且自适应的优化算法。
• 在最小假设下建立理论收敛保证，特别是半代数结构和唯一最优响应。
• 通过价值函数的隐藏霍尔德正则性实现大步长，避免传统方法中保守的回溯策略。
• 提供一种实用的算法，具备自动线搜索机制，在不依赖单调性的前提下保持充分下降。
• 在 Sinkhorn GANs 和 Wasserstein GANs 等挑战性问题上对方法进行数值验证。

提出的方法

• 该方法将极小-极大问题视为对价值函数 $ g(x) = \max_y L(x,y) $ 的梯度下降，利用在半代数假设下其局部霍尔德正则梯度的性质。
• 提出一种非单调回溯策略，根据包含 $ \|\nabla_x L(x_n, y_n)\|^{\rho k} $ 的充分下降条件，自适应地调整步长 $ \gamma_n $。
• 步长通过 $ \gamma_n(x_n) = \alpha^k \min\{1, \|\nabla_x L(x_n, y_n)\|^{\rho k}\} \gamma $ 更新，其中 $ \alpha \in (0,1) $，当梯度衰减缓慢时允许采用大步长。
• 关键创新在于利用价值函数的隐藏正则性来证明大步长的合理性，从而摆脱标准回溯方法中的保守策略。
• 该算法在不强制要求回溯索引 $ k_n $ 单调的前提下，仍能保持充分下降，从而提升效率。
• 对于精确取最大值不可行的问题（如 Wasserstein GANs），该方法使用梯度上升近似 $ y_n \approx \arg\max_y L(x_n, y) $。

实验结果

研究问题

• RQ1 我们能否设计一种基于梯度的极小-极大问题方法，利用价值函数的内在正则性实现自动步长自适应？
• RQ2 在何种条件下，价值函数 $ g(x) = \max_y L(x,y) $ 具有局部霍尔德正则梯度？
• RQ3 我们能否在不依赖强凸性或光滑性假设的前提下，实现极小-极大问题的全局收敛与非渐近收敛速率？
• RQ4 在实践中，自动步长自适应与经典回溯法或固定步长方法相比表现如何？
• RQ5 对角线回溯对收敛速率和实际效率有何影响？

主要发现

• Backtrack Hölder 方法实现了 $ O(\epsilon^{-[2+c]}) $ 的全局收敛速率，其中 $ c $ 是对角线回溯过程带来的微小代价。
• 在半代数结构和唯一性假设下，收敛保证可达到临界点 $ (x^*, y^*) $，满足 $ y^* = \arg\max_y L(x^*, y) $ 且 $ \nabla_x L(x^*, y^*) = 0 $。
• 该方法通过利用价值函数梯度的局部霍尔德性质，为采用大步长提供了理论依据。
• 在 Sinkhorn GANs 和 Wasserstein GANs 上的数值实验表明，该方法表现优异，优于固定步长和标准回溯方法。
• 该算法在不强制回溯索引单调的前提下保持充分下降，显著提升了实际效率。
• 分析的一个副产品是霍尔德梯度方法的全局收敛结果，扩展了非凸优化领域中已有研究。