[論文レビュー] Optimistic Dual Extrapolation for Coherent Non-monotone Variational Inequalities

Chaobing Song, Zhengyuan Zhou+3 more|arXiv (Cornell University)|Mar 7, 2021

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

本稿では、生成対抗ネットワーク（GANs）の訓練に中心的である一貫性のある非単調な変分不等式問題（VIPs）を解くために、1回の勾配評価で実行可能な最適化手法である「楽観的デュアル予測法（OptDE）」を提案する。OptDEは弱解の仮定のもとで強解への収束速度がO(1/ε²)であり、σ-弱解が存在する場合には線形O(log(1/ε))の収束を達成する。これは2回の勾配評価を要する従来の2勾配法と同等の最良の収束速度を達成しているが、深層学習への応用においてはより実用的である。

ABSTRACT

The optimization problems associated with training generative adversarial neural networks can be largely reduced to certain {\em non-monotone} variational inequality problems (VIPs), whereas existing convergence results are mostly based on monotone or strongly monotone assumptions. In this paper, we propose {\em optimistic dual extrapolation (OptDE)}, a method that only performs {\em one} gradient evaluation per iteration. We show that OptDE is provably convergent to {\em a strong solution} under different coherent non-monotone assumptions. In particular, when a {\em weak solution} exists, the convergence rate of our method is $O(1/{ε^{2}})$, which matches the best existing result of the methods with two gradient evaluations. Further, when a {\em $σ$-weak solution} exists, the convergence guarantee is improved to the linear rate $O(\log\frac{1}ε)$. Along the way--as a byproduct of our inquiries into non-monotone variational inequalities--we provide the near-optimal $O\big(\frac{1}ε\log \frac{1}ε\big)$ convergence guarantee in terms of restricted strong merit function for monotone variational inequalities. We also show how our results can be naturally generalized to the stochastic setting, and obtain corresponding new convergence results. Taken together, our results contribute to the broad landscape of variational inequality--both non-monotone and monotone alike--by providing a novel and more practical algorithm with the state-of-the-art convergence guarantees.

研究の動機と目的

• 非凸非凹なミニマックス問題（GANsなど）に頻出する非単調な変分不等式における1次元手法の収束保証の欠如に取り組む。
• 従来の2勾配外挿法とは異なり、1反復あたり1回の勾配評価のみを要する実用的なアルゴリズムの開発。
• 一貫性のある非単調な仮定（弱解やσ-弱解条件を含む）の下で強解への理論的収束を確立する。
• ノイズありまたはミニバッチ勾配を用いる確率的設定への分析を拡張し、新たな収束結果を提供する。
• 深層生成モデルの訓練における理論的収束速度と実用的効率のギャップを埋める。

提案手法

• OptDEは、非単調な設定における反復の安定化を図るため、外挿ステップと修正されたモーメンタムに類似したメカニズムを組み合わせた、新しい楽観的デュアル外挿更新を導入する。
• 1反復あたり1回の勾配評価のみを必要とするため、2勾配外挿法と比較して計算的に効率的である。
• 反復値の重み付き平均化スキームを採用することで、演算子が単調でない場合でも強解への収束を保証する。
• 2つの主要な仮定の下でアルゴリズムを分析する：弱解の存在（O(1/ε²)の収束速度に導く）とσ-弱解の存在（線形O(log(1/ε))の収束速度に導く）。
• 進行度を測るための制限付き強いマージナル関数を用い、リャプノフ関数と再帰的不等式を用いて反復値と解との距離をバインドする。
• 勾配推定値の分散が有界であることを仮定することで、確率的設定への一般化を図り、弱い仮定のもとで収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 1回の勾配評価で実行可能な手法が、非単調な変分不等式において2勾配外挿法と同等の収束速度を達成できるか？
• RQ2 弱解やσ-弱解といった一貫性のある非単調な仮定のもとで、どのような収束保証を確立できるか？
• RQ3 ノイズのある勾配を伴う確率的設定において、提案手法はどのように動作するか？
• RQ4 GANの訓練のように演算子が単調でない状況でも、アルゴリズムが強解への収束を維持できるか？
• RQ5 単調なVIPsにおいて、1回の呼び出しで近似的に最適な収束速度を達成することは可能か？

主な発見

• 弱解が存在する場合、OptDEは強解への収束速度がO(1/ε²)であり、2勾配法の最良の既知の速度と一致する。
• σ-弱解が存在する場合、OptDEはO(log(1/ε))の線形収束を達成し、非線形速度に比べて顕著に向上する。
• 制限付き強いマージナル関数を用いることで、単調なVIPsに対して近似的に最適なO(1/ε log(1/ε))の収束保証を達成する。
• 分散が有界な勾配推定を仮定することで、ミニバッチ学習への応用が可能になる確率的設定でも収束を保証する。
• 1反復あたり1回の勾配評価のみを要するが、理論的保証を維持でき、深層学習への実用性が向上する。