[論文レビュー] Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems

Sucheol Lee, Donghwan Kim|arXiv (Cornell University)|Jun 4, 2021

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、滑らかな構造的非凸非凹ミニマックス問題に対する、アンカリングを組み込んだ二段階時間スケールの外挿法である Fast Extragradient (FEG) を提案する。FEG は負の共単調性条件の下で、勾配ノルムの二乗に対する加速された $Ó(1/k^2)$ 収束レートを達成し、この非凸非凹設定において初めての such fast rate を示している。

ABSTRACT

Modern minimax problems, such as generative adversarial network and adversarial training, are often under a nonconvex-nonconcave setting, and developing an efficient method for such setting is of interest. Recently, two variants of the extragradient (EG) method are studied in that direction. First, a two-time-scale variant of the EG, named EG+, was proposed under a smooth structured nonconvex-nonconcave setting, with a slow $\mathcal{O}(1/k)$ rate on the squared gradient norm, where $k$ denotes the number of iterations. Second, another variant of EG with an anchoring technique, named extra anchored gradient (EAG), was studied under a smooth convex-concave setting, yielding a fast $\mathcal{O}(1/k^2)$ rate on the squared gradient norm. Built upon EG+ and EAG, this paper proposes a two-time-scale EG with anchoring, named fast extragradient (FEG), that has a fast $\mathcal{O}(1/k^2)$ rate on the squared gradient norm for smooth structured nonconvex-nonconcave problems; the corresponding saddle-gradient operator satisfies the negative comonotonicity condition. This paper further develops its backtracking line-search version, named FEG-A, for the case where the problem parameters are not available. The stochastic analysis of FEG is also provided.

研究の動機と目的

• GAN や敵対的訓練で一般的な、滑らかな構造的非凸非凹ミニマックス問題に対する高速な一階法の欠如に取り組む。
• 同じ設定下で、EG+ などの従来手法が示す $Ó(1/k)$ の遅い収束レートを克服する。
• 非凸非凹設定における一階法の最良既知の下界と上界の間のギャップを埋める。
• 問題パラメータの事前知識が不要な実用的なアルゴリズムを構築する。
• 実世界の応用におけるロバスト性を高めるために、確率的およびバックトラッキングラインサーチ変種への拡張を実施する。

提案手法

• EG+ の安定化と EAG の加速をアンカリングによって統合した二段階時間スケールのアンカリング外挿フレームワーク（FEG）を提案する。
• 負の共単調性に対処する上で鍵となる、$\bm{z}_{k+1}$ の更新で $∇ f(\bm{z}_k)$ 項を再利用する新しい更新則を導入する。
• 時間変動型アンカリング係数 $\beta_k = \frac{1}{k+1}$ とステップサイズ $\alpha_k = \frac{1}{L}$ を用いて、最適な収束レートを達成する。
• Lipschitz 定数 $L$ が未知の設定を想定し、バックトラッキングラインサーチ版 FEG-A を導出する。
• 収束性およびレートバウンドの証明に、巧みに構築されたポテンシャル関数 $V_k$ を用いたリャプノフ関数解析を採用する。
• ノイズのある勾配の下で期待値の勾配ノルム二乗に対する明示的バウンドを示す確率的変種 S-FEG を提供する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな構造的非凸非凹ミニマックス問題において、一階法が勾配ノルムの二乗に対して $Ó(1/k^2)$ レートを達成できるか？
• RQ2 サドル勾配作用素に負の共単調性条件が課された場合、従来手法よりも高速な収束が可能か？
• RQ3 凸凹設定で効果を示したアンカリング技術が、非凸非凹問題においても収束を加速するために適応可能か？
• RQ4 非単調な設定下で、安定化（二段階時間スケール更新）と加速（アンカリング）の最適なバランスは何か？
• RQ5 Lipschitz 定数などの問題パラメータが未知である場合、どのようにしてアルゴリズムをロバストに保てるか？

主な発見

• FEG は負の共単調性の下で、期待値の勾配ノルム二乗に対して $Ó(1/k^2)$ の収束レートを達成し、この非凸非凹設定で初めての結果である。
• この方法のレートバウンドは、凸凹設定下での EAG のレートバウンドのおよそ 27/4 倍小さく、顕著な加速を示している。
• 作用素がココーエリフト的である場合、FEG はハルペルン型反復よりも高速に収束し、有利な状況下での性能向上を実証している。
• 確率的変種 S-FEG は、有界なノイズ下でも $Ó(1/k^2)$ レートを維持し、初期値およびノイズの分散に明示的な依存関係を示す。
• バックトラッキング版 FEG-A は、問題の Lipschitz 定数を事前に知らなくても収束を保証する。
• 理論的解析により、FEG の上界と既知の $Ó(1/k^2)$ 下界とのギャップはたったの 4 倍であり、近似的に最適性を示している。