[論文レビュー] Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization

Jelena Diakonikolas, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Oct 31, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用数 14

ひとこと要約

本稿は、一般のℓpノルム空間における決定論的および確率的設定下で、静止点に確かに収束する一般化された外挿勾配法を提案する、構造的非凸非凹な最小最大化最適化問題の新しいクラスを導入する。この手法は、変分的整合性や弱解の存在といったより限定的な設定よりも優れた結果を得る、最適な反復回数およびサンプル複雑性の上限を達成する。

ABSTRACT

The use of min-max optimization in adversarial training of deep neural network classifiers and training of generative adversarial networks has motivated the study of nonconvex-nonconcave optimization objectives, which frequently arise in these applications. Unfortunately, recent results have established that even approximate first-order stationary points of such objectives are intractable, even under smoothness conditions, motivating the study of min-max objectives with additional structure. We introduce a new class of structured nonconvex-nonconcave min-max optimization problems, proposing a generalization of the extragradient algorithm which provably converges to a stationary point. The algorithm applies not only to Euclidean spaces, but also to general $\ell_p$-normed finite-dimensional real vector spaces. We also discuss its stability under stochastic oracles and provide bounds on its sample complexity. Our iteration complexity and sample complexity bounds either match or improve the best known bounds for the same or less general nonconvex-nonconcave settings, such as those that satisfy variational coherence or in which a weak solution to the associated variational inequality problem is assumed to exist.

研究の動機と目的

• 標準的一階法が収束を保証しない一般の非凸非凹最小最大化問題の取り扱いが困難であるという点に対処する。
• 凸凹構造が存在しないにもかかわらず、静止点を効率的に計算可能な、非凸非凹問題の新しいクラスを同定する。
• ユークリッド空間を含む、任意のℓpノルムを用いた有限次元空間において、静止点に収束する一般化された外挿勾配法を開発する。
• 確率的オракル下でのタイトな反復回数およびサンプル複雑性の上限を確立し、より限定的な設定における既知の上限を改善する。
• Minty変分不等式（MVI）解の存在が保証される場合にまで理論的保証を拡張し、既存の構造的クラスへの適用範囲を広げる。

提案手法

• 変分的整合性やMVI解の存在といった既存の設定を一般化する、構造的非凸非凹最小最大化問題の新しいクラスを導入する。
• ℓpノルム空間におけるペアノイド的更新と双対ステップを用いた一般化された外挿勾配法を提案し、ℓpとℓp*ノルムの双対性を活用する。
• 反復回数の上限を導出可能にするため、ℓpノルムのp乗に基づくリャプノフ関数を採用し、望ましいテレスコピングの議論を可能にする。
• ε-近似静止点を求めるための反復複雑性として、O((L‖u*−u₀‖ₚ/ε)^p) を導出する。ここでLは滑らかさパラメータである。
• 分散σ²の確率的勾配を用いた場合、1反復あたりのサンプル複雑性がO(pσ^{p*}/ε^{p*}) であることを確立し、各ステップでn個のサンプルを用いる。
• リャプノフ関数の降下を保証し、誤差項を制御するためのパラメータ選択戦略（例：β=1/2, a=1/(4Λ), τ^p=1/4）を用いる。

実験結果

リサーチクエスチョン

• RQ1 凸凹ケースを超えた構造的非凸非凹最小最大化問題に対して、収束を保証するアルゴリズムを設計できるか？
• RQ2 ℓpノルム空間におけるε-近似静止点を求めるための最適な反復回数およびサンプル複雑性は何か？
• RQ3 外挿勾配法を、ユークリッド空間に限らない任意のℓpノルム空間に一般化できるか？
• RQ4 確率的オラクル下でのアルゴリズムの性能はどのように評価され、所望の精度に達するためのサンプル複雑性は何か？
• RQ5 静止点の計算可能性を維持しつつ、構造的仮定をどの程度緩和できるか？

主な発見

• 提案されたアルゴリズムは、ε-近似静止点を求める反復複雑性として、O((L‖u*−u₀‖ₚ/ε)^p) を達成し、より限定的な設定における既知の上限と一致またはそれを上回る。
• 1反復あたりのサンプル複雑性はO(pσ^{p*}/ε^{p*}) であり、合計クエリ数はk(1+n)で抑えられる。ここでkとnはε精度を満たすように選ばれる。
• アルゴリズムは確率的オラクルに対して安定であり、勾配がノイズを含んで推定されても収束保証が得られる。
• アルゴリズムは任意のℓpノルム空間に一般化可能であり、ユークリッド空間を超えた応用範囲を拡大する。
• 解析により、問題クラスには少なくとも1つの静止点（SVE解）が存在することが保証され、意味のある解の存在が裏付けられる。
• Minty変分不等式（MVI）解の存在が保証される場合にも結果が拡張され、変分的整合性に関する先行研究を一般化する。