[論文レビュー] A Provably Convergent and Practical Algorithm for Min-Max Optimization with Applications to GANs

Oren Mangoubi, Sushant Sachdeva+1 more|arXiv (Cornell University)|May 4, 2021

Stochastic Gradient Optimization Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、GANの訓練などに見られる非凸・非凹なミニマックス最適化に対して、証明可能に収束する一次元アルゴリズムを提案する。最小化プレイヤーに前方予測更新を組み合わせ、最大化プレイヤーの戦略に対して新規の一次近似を用いることで、収束ステップ数が poly(d, L, b) に抑えられると同時に、勾配降下上昇と同等の計算効率を維持する。

ABSTRACT

We present a first-order algorithm for nonconvex-nonconcave min-max optimization problems such as those that arise in training GANs. Our algorithm provably converges in poly(d,L,b) steps for any loss function f:Rd×Rd→R which is b-bounded with L-Lipschitz gradient. To achieve convergence, we 1) give a novel approximation to the global strategy of the max-player based on first-order algorithms such as gradient ascent, and 2) empower the min-player to look ahead and simulate the max-player’s response for arbitrarily many steps, but restrict the min-player to move according to updates sampled from a stochastic gradient oracle. Our algorithm, when used to train GANs on synthetic and real-world datasets, does not cycle, results in GANs that seem to avoid mode collapse, and achieves a training time per iteration and memory requirement similar to gradient descent-ascent.

研究の動機と目的

• 非凸・非凹な最適化のための既存のGAN訓練アルゴリズムに収束保証がないという問題を解決する。
• 有界でリプシッツ連続な勾配を持つミニマックス問題に対して収束を保証する実用的な一次元アルゴリズムを開発する。
• 最小化プレイヤーが、過度な計算コストを負担せずに、最大化プレイヤーの反応を予測できる前方戦略を実装する。
• 標準的な勾配降下上昇と同等の計算およびメモリ効率を維持しながら、GANにおけるモード崩壊を回避する。

提案手法

• 勾配上昇を用いて、最大化プレイヤーのグローバル戦略に対する新規の一次近似を導入し、実装可能性を高める。
• 最小化プレイヤーに前方予測機能を付与し、複数ステップにわたる最大化プレイヤーの反応をシミュレートすることで安定性を向上させる。
• 計算効率を保つために、最小化プレイヤーの更新を確率的勾配サンプルに制限する。
• 損失関数の勾配のリプシッツ定数（L）とそのグローバルバウンディング（b）を制限することで収束を保証し、poly(d, L, b) ステップでの収束を達成する。
• 標準的なディープラーニングフレームワークと互換性を持つようにアルゴリズムを設計し、GAN訓練への直接適用を可能にする。
• 最大化プレイヤーの反応モデリングと最小化プレイヤーの更新メカニズムを分離することで、探索と安定性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 一次元アルゴリズムは、非凸・非凹なミニマックス最適化問題において、証明可能な収束を達成できるか？
• RQ2 高い計算コストを負担せずに、最小化プレイヤーは最大化プレイヤーの反応を効果的に予測できるか？
• RQ3 提案手法は、勾配降下上昇と同等の訓練効率およびメモリ使用量を維持しながら、GANにおけるモード崩壊を回避できるか？
• RQ4 次元d、勾配のリプシッツ定数L、損失バウンディングbの観点から、アルゴリズムの理論的収束速度は何か？
• RQ5 アルゴリズムは、合成および実世界のデータセットにおける実用的なGAN訓練において、サイクル化とモード崩壊を防止するか？

主な発見

• 任意のb有界損失関数で、勾配がL-リプシッツ連続である場合、アルゴリズムは poly(d, L, b) ステップで収束する。
• 合成および実世界のデータセットにおけるGAN訓練において、サイクル化とモード崩壊が防止される。
• 1イテレーションあたりの訓練時間とメモリ使用量は、標準的な勾配降下上昇と同等であり、実用性が保証される。
• 前方予測メカニズムにより、最小化プレイヤーは複数ステップにわたる最大化プレイヤーの反応をシミュレートでき、安定性が向上する。
• 最大化プレイヤーの戦略に対する一次近似は、理論的保証を維持しながらも、計算的に実行可能である。
• 実験結果から、追加の正則化なしに安定した訓練ダイナミクスと改善された生成性能が得られることが示された。