[论文解读] Lifted Primal-Dual Method for Bilinearly Coupled Smooth Minimax Optimization

Kiran Koshy Thekumparampil, Niao He+1 more|arXiv (Cornell University)|Jan 19, 2022

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出了一种新型单循环一阶算法——提升原始对偶（Lifted Primal-Dual, LPD）方法，用于求解双线性耦合的光滑极小极大问题。通过将目标函数提升以统一处理光滑项与双线性项，LPD 实现了最优的迭代复杂度 $\mathcal{O}\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$，与已知的下界一致，并在 $f$ 为凸函数时通过平滑化方法实现近乎最优的性能。

ABSTRACT

We study the bilinearly coupled minimax problem: $\min_{x} \max_{y} f(x) + y^ op A x - h(y)$, where $f$ and $h$ are both strongly convex smooth functions and admit first-order gradient oracles. Surprisingly, no known first-order algorithms have hitherto achieved the lower complexity bound of $Ω((\sqrt{\frac{L_x}{μ_x}} + \frac{\|A\|}{\sqrt{μ_x μ_y}} + \sqrt{\frac{L_y}{μ_y}}) \log(\frac1{\varepsilon}))$ for solving this problem up to an $\varepsilon$ primal-dual gap in the general parameter regime, where $L_x, L_y,μ_x,μ_y$ are the corresponding smoothness and strongly convexity constants. We close this gap by devising the first optimal algorithm, the Lifted Primal-Dual (LPD) method. Our method lifts the objective into an extended form that allows both the smooth terms and the bilinear term to be handled optimally and seamlessly with the same primal-dual framework. Besides optimality, our method yields a desirably simple single-loop algorithm that uses only one gradient oracle call per iteration. Moreover, when $f$ is just convex, the same algorithm applied to a smoothed objective achieves the nearly optimal iteration complexity. We also provide a direct single-loop algorithm, using the LPD method, that achieves the iteration complexity of $O(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{μ_y \varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}})$. Numerical experiments on quadratic minimax problems and policy evaluation problems further demonstrate the fast convergence of our algorithm in practice.

研究动机与目标

• 弥合双线性耦合光滑极小极大问题在强凸-强凹（Bi-SC-SC）情形下已知算法与理论下界之间的差距。
• 设计一种一阶算法，实现对条件数 $L_x/\mu_x$、$\|A\|/\sqrt{\mu_x\mu_y}$ 和 $L_y/\mu_y$ 的最优依赖关系。
• 在统一的原始对偶框架内统一处理光滑凸项与双线性耦合项，避免使用多循环方案。
• 提供一种简单、单循环的算法，每轮仅需一次梯度预言机调用，同时保持最优收敛速率。

提出的方法

• 将原始极小极大问题提升为一种扩展形式，将光滑项与双线性项统一嵌入到一个统一的原始对偶结构中。
• 通过提升的变量变换，利用单一原始对偶更新机制，实现对 $f(x)$、$h(y)$ 和 $\langle y, Ax \rangle$ 的同步且最优的处理。
• 采用经过修改的原始对偶更新规则，并精心选择步长，以确保在最小化预言机调用次数的前提下收敛至最优解。
• 利用提升的公式推导出收敛性保证，其复杂度与 Bi-SC-SC 类别的已知下界完全匹配。
• 当 $f$ 为凸函数时，对目标函数应用平滑化处理使其变为强凸，随后应用相同的 LPD 方法以实现近乎最优的复杂度。
• 采用 LPD 的直接单循环变体，当 $f$ 为凸函数时，实现复杂度 $\mathcal{O}\left(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{\mu_y\varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}}\right)$。

实验结果

研究问题

• RQ1 能否设计一种一阶算法，实现双线性耦合极小极大问题的最优迭代复杂度 $\Omega\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$？
• RQ2 是否可能设计一种单循环算法，无需依赖多循环或嵌套结构即可匹配该下界？
• RQ3 能否在统一的原始对偶框架内弥合优化光滑凸函数与双线性项之间的概念鸿沟？
• RQ4 当 $f$ 仅为凸函数时，LPD 方法的迭代复杂度是多少？能否实现近乎最优的性能？

主要发现

• LPD 方法实现了最优的迭代复杂度 $\mathcal{O}\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$，与 Bi-SC-SC 类别的已知下界完全一致。
• 该方法为单循环结构，每轮仅需一次梯度预言机调用，计算效率高，且较以往的多循环方法更为简洁。
• 当 $f$ 为凸函数时，将同一 LPD 算法应用于平滑化后的目标函数，可实现近乎最优的复杂度，且对 $\varepsilon$ 的依赖为 $\tilde{O}(\cdot)$ 形式。
• 在凸函数情形下，LPD 的直接单循环变体实现了复杂度 $\mathcal{O}\left(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{\mu_y\varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}}\right)$，为近乎最优。
• 在二次极小极大问题与策略评估问题上的数值实验验证了 LPD 在实际中的快速收敛性，优于现有方法。
• 理论分析表明，该算法在提升公式下能保持迭代序列有界，并在原始对偶间隙上实现线性收敛。