[论文解读] Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling

Dmitry Kovalev, Alexander Gasnikov+1 more|arXiv (Cornell University)|Dec 30, 2021

Advanced Optimization Algorithms Research被引用 8

一句话总结

该论文提出了一种加速原始-对偶梯度方法（APDG），用于具有双线性耦合的光滑凸-凹鞍点问题，在强凸-强凹情况下实现最优线性收敛，在仅一个函数强凸或均不强凸时实现加速收敛。该方法在无需强凸性或强凹性假设的情况下实现线性收敛，且在最坏情况下与已知下界一致。

ABSTRACT

In this paper we study the convex-concave saddle-point problem $\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$, where $f(x)$ and $g(y)$ are smooth and convex functions. We propose an Accelerated Primal-Dual Gradient Method (APDG) for solving this problem, achieving (i) an optimal linear convergence rate in the strongly-convex-strongly-concave regime, matching the lower complexity bound (Zhang et al., 2021), and (ii) an accelerated linear convergence rate in the case when only one of the functions $f(x)$ and $g(y)$ is strongly convex or even none of them are. Finally, we obtain a linearly convergent algorithm for the general smooth and convex-concave saddle point problem $\min_x \max_y F(x,y)$ without the requirement of strong convexity or strong concavity.

研究动机与目标

• 开发一种用于具有双线性耦合的光滑凸-凹鞍点问题的加速原始-对偶方法。
• 在强凸-强凹情况下实现最优线性收敛，匹配已知的下界复杂度。
• 将收敛性保证扩展至仅一个函数强凸或均不强凸的情况。
• 为一般光滑凸-凹鞍点问题提供一种无需强凸性或强凹性假设的线性收敛算法。

提出的方法

• 提出一种具有自适应步长和动量项的加速原始-对偶梯度（APDG）方法，以加速收敛。
• 使用李雅普诺夫函数 Ψ^k 分析收敛性，该函数结合了原始和对偶迭代、梯度差值以及动量项。
• 通过有界李雅普诺夫函数在迭代过程中的下降量推导收敛速率，确保 Ψ^{k+1} ≤ θΨ^k 成立，其中 θ < 1。
• 引入依赖于问题条件数和耦合强度的参数 η_x、η_y 和 θ，以平衡原始和对偶进展。
• 采用参数 δ 以优化收敛速率，针对不同收敛情形推导出不同的最优值。
• 通过结合梯度变化、原始-对偶迭代和动量效应的递归不等式建立收敛性。

实验结果

研究问题

• RQ1 能否设计一种加速原始-对偶方法，实现具有双线性耦合的凸-凹鞍点问题的最优线性收敛？
• RQ2 当仅一个函数强凸或均不强凸时，能否实现收敛速率的加速？
• RQ3 能否在不假设强凸性或强凹性的情况下，为一般光滑凸-凹鞍点问题实现线性收敛？
• RQ4 在不同正则性条件下，可实现的最优收敛速率是什么？所提方法是否匹配已知的下界？

主要发现

• APDG 方法在强凸-强凹情形下实现了最优线性收敛速率，与 Zhang 等人（2021）提出的下界复杂度一致。
• 当仅一个函数强凸或均不强凸时，该方法实现了加速线性收敛速率，优于标准原始-对偶方法。
• 该方法为一般光滑凸-凹鞍点问题提供了线性收敛算法，无需强凸性或强凹性假设。
• 收敛速率量化为 k ≥ (1/(1−θ)) log(C/ε)，其中 θ < 1 且 C 与 ε 无关，确保线性收敛。
• 在五种不同情形下（包括双线性问题和正则化 ERM 问题），该方法的收敛速率与现有最先进方法相比实现匹配或超越。
• 理论分析证实，在强凸-强凹情况下，该方法的收敛速率是最优的，因其与 Zhang 等人（2021）建立的下界一致。