[論文レビュー] Lifted Primal-Dual Method for Bilinearly Coupled Smooth Minimax Optimization

Kiran Koshy Thekumparampil, Niao He+1 more|arXiv (Cornell University)|Jan 19, 2022

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、双線形結合された滑らかなミニマックス問題に対する、新しい1ループ型の1次オーダー法であるLifted Primal-Dual (LPD) 法を提案する。目的関数を滑らかさと双線形項を統一的に扱えるように拡張することで、LPDは、既知の下界に一致する最適な反復複雑度 $Θ\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$ を達成し、平滑化を用いることで $f$ が凸である場合にもほぼ最適な性能に拡張可能である。

ABSTRACT

We study the bilinearly coupled minimax problem: $\min_{x} \max_{y} f(x) + y^ op A x - h(y)$, where $f$ and $h$ are both strongly convex smooth functions and admit first-order gradient oracles. Surprisingly, no known first-order algorithms have hitherto achieved the lower complexity bound of $Ω((\sqrt{\frac{L_x}{μ_x}} + \frac{\|A\|}{\sqrt{μ_x μ_y}} + \sqrt{\frac{L_y}{μ_y}}) \log(\frac1{\varepsilon}))$ for solving this problem up to an $\varepsilon$ primal-dual gap in the general parameter regime, where $L_x, L_y,μ_x,μ_y$ are the corresponding smoothness and strongly convexity constants. We close this gap by devising the first optimal algorithm, the Lifted Primal-Dual (LPD) method. Our method lifts the objective into an extended form that allows both the smooth terms and the bilinear term to be handled optimally and seamlessly with the same primal-dual framework. Besides optimality, our method yields a desirably simple single-loop algorithm that uses only one gradient oracle call per iteration. Moreover, when $f$ is just convex, the same algorithm applied to a smoothed objective achieves the nearly optimal iteration complexity. We also provide a direct single-loop algorithm, using the LPD method, that achieves the iteration complexity of $O(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{μ_y \varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}})$. Numerical experiments on quadratic minimax problems and policy evaluation problems further demonstrate the fast convergence of our algorithm in practice.

研究の動機と目的

• 双線形結合された滑らかなミニマックス問題における強凸-強凹（Bi-SC-SC）設定において、既知のアルゴリズムと理論的下界の間のギャップを埋めること。
• 条件数 $L_x/\mu_x$、$\|A\|/\sqrt{\mu_x\mu_y}$、$L_y/\mu_y$ に対して最適な依存関係を達成する1次オーダー法を設計すること。
• 滑らかな凸項と双線形結合項の取り扱いを、マルチループスキームを避ける1つのプライマルデュアルフレームワーク内で統一すること。
• 1反復あたり1回の勾配オракル呼び出しで済み、最適収束速度を維持できる単純な1ループアルゴリズムを提供すること。

提案手法

• 滑らかさと双線形項を統合した拡張されたプライマルデュアル構造に、元のミニマックス問題を埋め込むこと。
• 1つのプライマルデュアル更新スキームで $f(x)$、$h(y)$、$\langle y, Ax \rangle$ を同時にかつ最適に処理できるように、拡張変数変換を用いること。
• 収束を保証するための適切に選ばれたステップサイズを用いた修正されたプライマルデュアル更新ルールを適用すること。
• 拡張された定式化を活用して、Bi-SC-SCクラスにおける既知の下界に一致する収束保証を導出すること。
• $f$ が凸の場合、目的関数を平滑化して強凸性を付与し、同じLPD法を適用することでほぼ最適な複雑度を達成すること。
• LPDの直接的な1ループバージョンを用いて、$f$ が凸の場合に複雑度 $\mathcal{O}\left(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{\mu_y\varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}}\right)$ を達成すること。

実験結果

リサーチクエスチョン

• RQ1 双線形結合ミニマックス問題に対して、1次オーダー法が $\Omega\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$ の最適反復複雑度を達成できるか。
• RQ2 マルチループやネストスキームに依存せずに、この下界に一致する1ループアルゴリズムを設計することは可能か。
• RQ3 滑らかな凸関数の最適化と双線形項の最適化の間の概念的ギャップを、統一されたプライマルデュアルフレームワーク内で埋め合わせられるか。
• RQ4 $f$ が凸の場合、LPD法の反復複雑度は何か。また、ほぼ最適な性能を達成できるか。

主な発見

• LPD法は、Bi-SC-SCクラスの既知の下界に一致する最適な反復複雑度 $\mathcal{O}\left(\left(\sqrt{\frac{L_x}{\mu_x}} + \frac{\|A\|}{\sqrt{\mu_x\mu_y}} + \sqrt{\frac{L_y}{\mu_y}}\right)\log\left(\frac{1}{\varepsilon}\right)\right)$ を達成する。
• この手法は1ループであり、1反復あたり1回の勾配オラクル呼び出しで済み、従来のマルチループ手法よりも計算的に効率的かつ単純である。
• $f$ が凸の場合、同じLPDアルゴリズムを平滑化された問題に適用することで、$\varepsilon$ に関して $\tilde{O}(\cdot)$ の依存関係を有するほぼ最適な複雑度を達成できる。
• 凸の場合、LPDの直接的な1ループバージョンは複雑度 $\mathcal{O}\left(\sqrt{\frac{L_x}{\varepsilon}} + \frac{\|A\|}{\sqrt{\mu_y\varepsilon}} + \sqrt{\frac{L_y}{\varepsilon}}\right)$ を達成し、これはほぼ最適である。
• 二次ミニマックス問題およびポリシー評価問題における数値実験により、実際の収束が速く、既存手法を上回ることが確認された。
• 理論的分析から、アルゴリズムが有界な反復点を維持し、拡張定式化のもとでプライマルデュアルギャップが線形収束することも示された。