[论文解读] Adaptive extra-gradient methods for min-max optimization and games

Kimon Antonakopoulos, Veronica Belmega+1 more|arXiv (Cornell University)|Oct 22, 2020

Stochastic Gradient Optimization Techniques参考文献 47被引用 8

一句话总结

本文提出 AdaProx，一种用于极小-极大优化的自适应外梯度方法，可自动适应问题的光滑性而无需预先调参。通过利用芬斯勒度量（Finsler metrics）和基于自适应步长的镜像-外梯度模板，该方法在光滑问题中实现阶最优收敛速率 𝒪(1/T)，在非光滑问题中实现 𝒪(1/√T)，即使在无界或奇异条件下也成立，且无需假设利普希茨连续性或有界性。

ABSTRACT

We present a new family of min-max optimization algorithms that automatically exploit the geometry of the gradient data observed at earlier iterations to perform more informative extra-gradient steps in later ones. Thanks to this adaptation mechanism, the proposed method automatically detects whether the problem is smooth or not, without requiring any prior tuning by the optimizer. As a result, the algorithm simultaneously achieves order-optimal convergence rates, i.e., it converges to an $\varepsilon$-optimal solution within $\mathcal{O}(1/\varepsilon)$ iterations in smooth problems, and within $\mathcal{O}(1/\varepsilon^2)$ iterations in non-smooth ones. Importantly, these guarantees do not require any of the standard boundedness or Lipschitz continuity conditions that are typically assumed in the literature; in particular, they apply even to problems with singularities (such as resource allocation problems and the like). This adaptation is achieved through the use of a geometric apparatus based on Finsler metrics and a suitably chosen mirror-prox template that allows us to derive sharp convergence rates for the methods at hand.

研究动机与目标

• 解决在缺乏问题光滑性先验知识的情况下实现最优收敛速率的挑战。
• 克服现有方法依赖于利普希茨常数或定义域直径等参数预先调优的局限性。
• 设计一种算法，通过观测到的梯度数据自动适应问题的局部几何结构。
• 在更弱的假设下确保收敛性，包括无界定义域和资源分配与博弈论问题中常见的奇异性。
• 在非单调设置下提供无需迭代平均的最终迭代收敛保证，尤其适用于复杂场景。

提出的方法

• 引入芬斯勒度量框架，以捕捉问题梯度结构中的局部几何与奇异性。
• 采用受 Rakhlin & Sridharan (2013) 启发的自适应步长镜像-外梯度模板，实现对光滑性的自适应调整。
• 采用双阶段更新机制：首先通过中间迭代 $X_{t+1/2}$ 进行预测，随后利用 $X_{t+1}$ 执行校正。
• 应用 Bregman 散度 $D(x,y)$ 衡量向解集的进展，确保稳定性和收敛性。
• 利用 Fenchel 不等式与芬斯勒范数的性质推导收敛界，从而获得精确的速率保证。
• 引入一种新颖的数值不等式（引理 F.1），在 (MS) 条件下建立最终迭代收敛性，实现通用性能。

实验结果

研究问题

• RQ1 能否设计一种外梯度方法，在既不知晓光滑性的情况下，仍能在光滑与非光滑极小-极大问题中实现阶最优收敛速率？
• RQ2 此类方法是否可在更弱假设下收敛——例如在无界定义域或存在奇异性的情况下，而无需利普希茨连续性或有界性假设？
• RQ3 能否设计一种自适应步长策略，自动检测光滑性并相应调整？
• RQ4 在非单调或复杂博弈设置下，算法的最终迭代是否可实现收敛，而无需依赖迭代平均？
• RQ5 与标准欧几里得或基于 Bregman 的方法相比，芬斯勒度量的使用如何提升收敛性保证？

主要发现

• AdaProx 在光滑极小-极大问题中实现 𝒪(1/T) 收敛速率，在非光滑问题中实现 𝒪(1/√T)，与理论下界一致。
• 该方法在无需事先知晓问题光滑模量、利普希茨常数或定义域直径的情况下实现收敛。
• 即使在存在奇异性或无界定义域的问题中，也能保证收敛，而标准假设在此类情况下会失效。
• 在 (MS) 条件下，该算法确保最终迭代收敛，为 Polyak–Ruppert 平均提供实用替代方案。
• 收敛性分析基于一种新颖的芬斯勒度量框架，相较于标准范数，能更有效地捕捉问题的局部几何结构。
• 该方法的自适应步长策略，源自 Fenchel 型不等式与数值序列引理（F.1），可在各类问题中实现通用性能。