[論文レビュー] First-order Convergence Theory for Weakly-Convex-Weakly-Concave Min-max Problems

Mingrui Liu, Hassan Rafique+2 more|arXiv (Cornell University)|Oct 24, 2018

Sparse and Compressive Sensing Techniques参考文献 51被引用数 21

ひとこと要約

本稿では、弱凸-弱凹最小最大化問題に対する最初の1次収束理論を、強い単調性を持つ変分不等式を逐次解く不正確なプロキシマルポイントフレームワークを用いて提案する。非漸近的収束レートをほぼ停留立点へと確立し、Lipschitz連続性のもとで複雑度境界が Õ(Lρ/ε²) となる。これは、ε-停留立点を達成するための従来の外挿法よりも著しく改善された O(1/ε⁴) 複雑度を要するものである。

ABSTRACT

In this paper, we consider first-order convergence theory and algorithms for solving a class of non-convex non-concave min-max saddle-point problems, whose objective function is weakly convex in the variables of minimization and weakly concave in the variables of maximization. It has many important applications in machine learning including training Generative Adversarial Nets (GANs). We propose an algorithmic framework motivated by the inexact proximal point method, where the weakly monotone variational inequality (VI) corresponding to the original min-max problem is solved through approximately solving a sequence of strongly monotone VIs constructed by adding a strongly monotone mapping to the original gradient mapping. We prove first-order convergence to a nearly stationary solution of the original min-max problem of the generic algorithmic framework and establish different rates by employing different algorithms for solving each strongly monotone VI. Experiments verify the convergence theory and also demonstrate the effectiveness of the proposed methods on training GANs.

研究の動機と目的

• 目的関数がxに関して弱凸でyに関して弱凹であるような最小最大化問題において、非漸近的収束保証が不足している問題に対処する。
• 非凸-非凹な設定下でも、ほぼε-停留立点解への収束を保証する一般化されたアルゴリズムフレームワークを構築する。
• 異なる設定（確率的、決定的、有限和）において、さまざまな部分問題ソルバーを用いて、反復回数および勾配複雑度のタイトな境界を確立する。
• GANの学習やその他の非凸非凹最小最大化問題において、1次手法の有効性に対する理論的根拠を提供する。

提案手法

• 強い単調性を有する写像を加えることで、元の弱単調な変分不等式（VI）を、強い単調性を持つ一連のVIに再定式化する不正確なプロキシマルポイント法を提案する。
• 各強い単調性VIの解を、元の問題の近似解として用い、ギャップおよび距離の尺度を用いて収束を分析する。
• 部分問題に対して、確率的勾配降下法、勾配降下法、外挿法、ネステロフの加速法、および分散低減手法を用い、異なる複雑度レートを導出する。
• ε-停留立点解を、射影された部分勾配のノルムがε以下に抑えられる点として定義し、1次停留立点への収束を保証する。
• SVIギャップと停留立点の間のギャップを埋めるために、「ほぼ(ε, cε)-ギャップ解」という概念を導入し、よりタイトな複雑度解析を可能にする。
• 勾配写像のLipschitz連続性と実行可能集合のコンパクト性を活用し、解のギャップと収束レートの均一な境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 弱凸-弱凹最小最大化問題に対して、ほぼ停留立点解への非漸近的収束を確立できるか？
• RQ2 異なる設定（確率的、決定的、有限和）におけるε-停留立点を達成するための最適な反復回数または勾配複雑度は何か？
• RQ3 提案された不正確なプロキシマルポイントフレームワークは、既存の外挿法と比較して、どのような収束速度の差を示すか？
• RQ4 このフレームワークは、理論的保証のもとで、GANの学習のような実世界の問題に適用可能か？
• RQ5 非凸非凹な設定下で、SVIギャップと停留立点測度の関係は何か？

主な発見

• 提案されたアルゴリズムフレームワークは、Lipschitz連続性のもとで、複雑度 Õ(Lρ/ε²) でε-停留立点解への非漸近的収束を達成する。これは、標準的な外挿法が要する O(1/ε⁴) 複雑度と比較して顕著に改善されたものである。
• 有限和設定（n個の成分）では、複雑度が Õ(nρ²/ε² + L²/ε²) となる。これは、有限和非凸最適化における既知の最良レートと一致する。
• 確率的および決定的設定では、複雑度が O(max(ρ⁶, ρ³)/ε⁶) となる。これは、弱凸-弱凹最小最大化問題において、初めて得られたこのような境界である。
• フレームワークにより、ε-停留立点解は対応するSVIのεDギャップ解であることが示されたが、逆は成り立たない。これにより、停留立点とギャップ測度の違いが明確にされた。
• 実験により理論的収束挙動が確認され、GANの学習における手法の有効性が実証され、理論の実用的有用性が裏付けられた。
• 解析により、既存の外挿法は同様の仮定のもとで、ε-停留立点を達成するための複雑度がO(1/ε⁴)未満に改善できないことが示された。これにより、提案フレームワークの優位性が浮き彫りになった。