[論文レビュー] Nonconvex-Nonconcave Min-Max Optimization with a Small Maximization Domain

Dmitrii M. Ostrovskii, Babak Barazandeh+1 more|arXiv (Cornell University)|Oct 8, 2021

Sparse and Compressive Sensing Techniques参考文献 101被引用数 4

ひとこと要約

本稿では、最大化領域 $ Y $ が小さな直径を持つという重要な仮定の下で、$ y $ に関する高次テイラー展開を用いて内側の最大化を近似することで、非凸・非凹なミニマックス最適化問題を解くための新しい手法を提案する。主な貢献は、$ k $ 次近似において $ Y $ の直径が $ O(\varepsilon^{2/(k+1)}) $ であるとき、補助問題における任意の $ \varepsilon $-停留立点が元の問題において $ O(\varepsilon) $-停留立点であることを理論的に保証することであり、ほぼ最良の境界が必要不可欠であることが示されている。

ABSTRACT

We study the problem of finding approximate first-order stationary points in optimization problems of the form $\min_{x \in X} \max_{y \in Y} f(x,y)$, where the sets $X,Y$ are convex and $Y$ is compact. The objective function $f$ is smooth, but assumed neither convex in $x$ nor concave in $y$. Our approach relies upon replacing the function $f(x,\cdot)$ with its $k$th order Taylor approximation (in $y$) and finding a near-stationary point in the resulting surrogate problem. To guarantee its success, we establish the following result: let the Euclidean diameter of $Y$ be small in terms of the target accuracy $\varepsilon$, namely $O(\varepsilon^{\frac{2}{k+1}})$ for $k \in \mathbb{N}$ and $O(\varepsilon)$ for $k = 0$, with the constant factors controlled by certain regularity parameters of $f$; then any $\varepsilon$-stationary point in the surrogate problem remains $O(\varepsilon)$-stationary for the initial problem. Moreover, we show that these upper bounds are nearly optimal: the aforementioned reduction provably fails when the diameter of $Y$ is larger. For $0 \le k \le 2$ the surrogate function can be efficiently maximized in $y$; our general approximation result then leads to efficient algorithms for finding a near-stationary point in nonconvex-nonconcave min-max problems, for which we also provide convergence guarantees.

研究の動機と目的

• 関数 $ f $ が $ x $ に関して凸でも $ y $ に関して凹でもない非凸・非凹ミニマックス問題において、近似第一階停留立点を求める課題に対処すること。
• $ f(x, \cdot) $ の $ y $ 変数に関する高次テイラー近似を活用することで、このような問題に対する実行可能で効率的なアルゴリズムフレームワークを構築すること。
• 補助問題が元の問題の近似停留立点をもたらす理論的条件を確立すること、特に $ Y $ の直径の役割に注目すること。
• 必要な小さな直径条件がほぼ最適であることを示し、直径が導出された閾値を上回ると還元が失敗することを示すこと。
• $ k = 0,1,2 $ に対して効率的なアルゴリズムを提供し、収束保証を伴うことで、GAN やロバストトレーニングなどの機械学習文脈での実用的応用を可能にすること。

提案手法

• $ f(x, \cdot) $ を $ y $ に関して $ k $ 次テイラー近似に置き換え、解きやすい補助ミニマックス問題を構築すること。
• $ Y $ の直径を小さく保つこと、具体的には $ k \in \mathbb{N} $ の場合 $ O(\varepsilon^{2/(k+1)}) $、$ k=0 $ の場合 $ O(\varepsilon) $ とすることで、補助問題の解が元の問題の停留立点を適切に近似できることを保証すること。
• 補助問題における任意の $ \varepsilon $-停留立点が元の問題において $ O(\varepsilon) $-停留立点であることを示す理論的バインディングを確立すること。定数は $ f $ の正則性パラメータに依存する。
• $ k \leq 2 $ の場合、補助問題は $ y $ に関して効率的に最大化可能であり、収束保証付きの実用的アルゴリズムの設計が可能になる。
• 補助問題の内側最大化サブプロブレムを効率的に解くためにランツォス法を活用し、$ O(m) $ 個の行列・ベクトル積と $ O(md_{\textsf{y}}) $ のメモリを用いる。ここで $ m $ はランツォス反復回数を表す。
• QRに基づく直交化とブロック三重対角構造を用いて、数値的安定性を維持し、Krylov部分空間におけるヘッシアン近似の効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 $ f(x, \cdot) $ の $ k $ 次テイラー近似が、元のミニマックス問題における $ \varepsilon $-停留立点を保つために、$ Y $ の直径にどのような条件が必要か？
• RQ2 直径スケーリング $ O(\varepsilon^{2/(k+1)}) $ はほぼ最適であるか、それ以上改善可能か？
• RQ3 得られる補助問題は $ k \leq 2 $ に対して効率的に解けるか？ また、どのような収束保証が得られるか？
• RQ4 $ f $ の正則性パラメータは、近似の精度と $ Y $ の必要最小直径にどのように影響するか？
• RQ5 提案手法は、機械学習で一般的な高次元設定においても実用的に効率的に実装可能か？

主な発見

• $ k \in \mathbb{N} $ の場合、補助問題における任意の $ \varepsilon $-停留立点が元の問題において $ O(\varepsilon) $-停留立点であるためには、$ Y $ の直径が $ O(\varepsilon^{2/(k+1)}) $ でなければならない。$ k=0 $ の場合は $ O(\varepsilon) $ である。
• 必要な直径条件はほぼ最適である：直径が導出された閾値を上回ると還元が明確に失敗するため、境界のタイトさが保証される。
• $ k = 0,1,2 $ の場合、補助問題は $ y $ に関して効率的に最大化可能であり、収束保証付きの実用的アルゴリズムの設計が可能になる。
• アルゴリズムの計算コストは $ O(m(d_{\textsf{y}} + \text{time}(\text{HVP}))) $ である。ここで $ m $ はランツォス反復回数、$ \text{time}(\text{HVP}) $ はヘッシアン・ベクトル積の計算コストを表す。
• メモリ使用量は $ O(md_{\textsf{y}} + \text{mem}(\text{HVP})) $ であるが、解ベクトルではなく最適値のみが必要な場合は $ O(m + d_{\textsf{y}}) $ にまで削減可能である。
• 領域 $ Y $ が目標精度 $ \varepsilon $ に対して十分に小さければ、補助問題の解が元の問題において有効な $ O(\varepsilon) $-停留立点のまま保たれることを保証する。