[論文レビュー] Improved Algorithms for Convex-Concave Minimax Optimization

Wang, Yuanhao, Li, Jian|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 43被引用数 16

ひとこと要約

本稿では、勾配複雑度を改善した凸-凹ミニマックス最適化のための新しいアルゴリズム、Proximal Best Response を提案する。線形収束を達成し、特に相互作用が弱い場合に条件数への依存がよりタイトになる。二次関数の場合、既知の下界まで、多項式的要因を除いて一致する。

ABSTRACT

This paper studies minimax optimization problems $\min_x \max_y f(x,y)$, where $f(x,y)$ is $m_x$-strongly convex with respect to $x$, $m_y$-strongly concave with respect to $y$ and $(L_x,L_{xy},L_y)$-smooth. Zhang et al. provided the following lower bound of the gradient complexity for any first-order method: $Ω\Bigl(\sqrt{\frac{L_x}{m_x}+\frac{L_{xy}^2}{m_x m_y}+\frac{L_y}{m_y}}\ln(1/ε)\Bigr).$ This paper proposes a new algorithm with gradient complexity upper bound $ ilde{O}\Bigl(\sqrt{\frac{L_x}{m_x}+\frac{L\cdot L_{xy}}{m_x m_y}+\frac{L_y}{m_y}}\ln\left(1/ε ight)\Bigr),$ where $L=\max\{L_x,L_{xy},L_y\}$. This improves over the best known upper bound $ ilde{O}\left(\sqrt{\frac{L^2}{m_x m_y}} \ln^3\left(1/ε ight) ight)$ by Lin et al. Our bound achieves linear convergence rate and tighter dependency on condition numbers, especially when $L_{xy}\ll L$ (i.e., when the interaction between $x$ and $y$ is weak). Via reduction, our new bound also implies improved bounds for strongly convex-concave and convex-concave minimax optimization problems. When $f$ is quadratic, we can further improve the upper bound, which matches the lower bound up to a small sub-polynomial factor.

研究の動機と目的

• 凸-凹ミニマックス問題における勾配複雑度の境界に生じるギャップを埋める、特に変数間相互作用が弱い場合に焦点を当てる。
• Lin らの先行研究で得られた最良の上界 $\tilde{O}\left(\sqrt{L^2/(m_{\mathbf{x}}m_{\mathbf{y}})}\ln^3(1/\epsilon)\right)$ を改善する。
• 高精度解法に不可欠な線形収束レートを達成する。
• 還元を用いて、強凸-凹および一般凸-凹ミニマックス問題に対するよりタイトな境界を提供する。
• 二次関数の場合、上界と下界のギャップを、多項式的要因を除いて埋める。

提案手法

• 一般凸-凹ミニマックス問題のための新しいアルゴリズム、Proximal Best Response (PBR) を導入する。
• 滑らかさパラメータ $L_{\mathbf{x}}, L_{\mathbf{y}}, L_{\mathbf{xy}}$ およびモジュラス $m_{\mathbf{x}}, m_{\mathbf{y}}$ を用いて、強い凸性・凹性を活用する。
• 二次関数の場合の条件数依存を軽減するために、再帰的行列ソルバーである Recursive Hermitian-Skew-Hermitian Split (RHSS(k)) を設計する。
• 最適性条件から生じる線形方程式系を、行列-ベクトル積を用いた反復的精錬により解く。
• 収束レートにおける多項式的要因を最小化するように、RHSS(k) の反復回数 $k$ を最適化する。
• 還元技術を用いて、強凸-強凹ケースの結果をより広範なミニマックス設定に拡張する。

実験結果

リサーチクエスチョン

• RQ1 凸-凹ミニマックス問題のための1次元アルゴリズムを設計でき、その勾配複雑度が、多項式的要因を除いて既知の下界に一致するだろうか？
• RQ2 相互作用項 $L_{\mathbf{xy}}$ が他の滑らかさパラメータに比べて小さい場合、収束レートと条件数依存をどのように改善できるか？
• RQ3 二次関数ミニマックス問題の反復的線形ソルバーにおいて、反復回数と条件数の最適なトレードオフは何か？
• RQ4 一般凸-凹設定においても、条件数への依存がタイトなまま線形収束を達成できるか？
• RQ5 再帰的行列ソルバー RHSS(k) は、二次関数の場合に有効な条件数をどのように低減し、収束を改善するか？

主な発見

• 提案された Proximal Best Response アルゴリズムは、$\tilde{O}\left(\sqrt{\frac{L_{\mathbf{x}}}{m_{\mathbf{x}}} + \frac{L \cdot L_{\mathbf{xy}}}{m_{\mathbf{x}}m_{\mathbf{y}}} + \frac{L_{\mathbf{y}}}{m_{\mathbf{y}}}} \ln(1/\epsilon)\right)$ の勾配複雑度を達成する。ここで $L = \max\{L_{\mathbf{x}}, L_{\mathbf{xy}}, L_{\mathbf{y}}\}$ であり、先行研究の境界を改善する。
• このアルゴリズムは線形収束を達成するが、Lin らの先行研究で得られた最良の手法ではその保証がない。
• 二次関数の場合、RHSS(k) アルゴリズムは上界 $O\left(\sqrt{\frac{L_{\mathbf{x}}}{m_{\mathbf{x}}} + \frac{L_{\mathbf{xy}}^2}{m_{\mathbf{x}}m_{\mathbf{y}}} + \frac{L_{\mathbf{y}}}{m_{\mathbf{y}}}} \left(\frac{L^2}{m_{\mathbf{x}}m_{\mathbf{y}}}\right)^{o(1)} \ln(1/\epsilon)\right)$ を達成し、多項式的要因を除いて下界に一致する。
• 上界における多項式的要因は、$k = \Theta\left(\sqrt{\ln(L^2/(m_{\mathbf{x}}m_{\mathbf{y}})) / \ln\ln(L^2/(m_{\mathbf{x}}m_{\mathbf{y}}))}\right)$ のとき最小化され、近似的に最適な収束が得られる。
• 改善された境界は、還元を用いて、強凸-凹および一般凸-凹ミニマックス問題の複雑度結果をよりタイトに示す。
• 特に $L_{\mathbf{xy}} \ll \max\{L_{\mathbf{x}}, L_{\mathbf{y}}\}$ の場合、新しい境界は従来の手法に比べて顕著に改善され、弱い結合領域において顕著である。