[論文レビュー] Asymmetric regularization mechanism for GAN training with Variational Inequalities

Spyridon C. Giagtzoglou, Mark H. M. Winands+1 more|arXiv (Cornell University)|Jan 20, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は GAN のトレーニングを VI フレームワーク下のナッシュ均衡問題として定式化し、ディスクリミネーターのみを対象とする非対称正則化（チークホノフ規約とゼロ中心勾配ペナルティ）を提案して、過去からの単回外挿法（Extrapolation-from-the-Past, EFTP）の明示的収束保証を得る。

ABSTRACT

We formulate the training of generative adversarial networks (GANs) as a Nash equilibrium seeking problem. To stabilize the training process and find a Nash equilibrium, we propose an asymmetric regularization mechanism based on the classic Tikhonov step and on a novel zero-centered gradient penalty. Under smoothness and a local identifiability condition induced by a Gauss-Newton Gramian, we obtain explicit Lipschitz and (strong)-monotonicity constants for the regularized operator. These constants ensure last-iterate linear convergence of a single-call Extrapolation-from-the-Past (EFTP) method. Empirical simulations on an academic example show that, even when strong monotonicity cannot be achieved, the asymmetric regularization is enough to converge to an equilibrium and stabilize the trajectory.

研究の動機と目的

• GAN トレーニングを二人プレーヤーのゼロ和ゲームとしてモデル化し、均衡を変分不等式で解釈する。
• ディスクリミネーターのみに作用する非対称正則化を導入して、曲率を注入しトレーニングを安定化する。
• 滑らかさと Gauss–Newton 識別性の下で、正則化済み作用素の明示的なリプシッツ常数と（強い）単調性定数を導出する。
• Extrapolation-from-the-Past (EFTP) の収束保証を得るための解析と、FB や EG などの代替案について議論する。
• 安定化と収束の改善を示す学術的な例で経験的検証を提供する。

提案手法

• GAN トレーニングを VI(S,F) として定式化し、F(ω) はジェネレーターの勾配とディスクリミネーターの負の勾配から構築する。
• ディスクリミネーターに対する二つの非対称正則化を導入：Tik (γ/2 ||φ||^2) および SGP（ゼロ中心の入力勾配ペナルティ）で、平衡点で消失する。
• 正則化された作用素 F_γ を分析して、Gauss–Newton 識別性（J_G(ω) ≽ λ_0 I) を含む仮定の下でリプシッツ連続性と強い単調性を確立する。
• 定数の導出：L = L_0 + γ κ_tot および μ ≥ min{μ_θ, μ_φ + γ λ_0} を満たすことで、反復法の局所線形収束を保証。
• 正則化された VI の下で計算効率の良いアルゴリズムとして Extrapolation-from-the-Past (EFTP) を提案し、収束保証を与える。
• 非対称正則化の安定化効果を示す bilinear の toy model による数値検証を提供。

実験結果

リサーチクエスチョン

• RQ1 ディスクリミネーターのみの非対称正則化は VI フレームワーク内で GAN トレーニングを安定化できるか。
• RQ2 正則化済み作用素の明示的なリプシッツおよび強い単調性の定数は、滑らかさと Gauss–Newton 識別性の下で存在するか。
• RQ3 正則化された GAN VI に対して EFTP は unregularized 状態での強い単調性が欠如していても、ナッシュ均衡へ線形収束するか。
• RQ4 提案された正則化は、収束と安定性の点で標準的な対称チークホノフ正則化とどのように比較されるか。
• RQ5 正則化ダイナミクスが元の鞍点を保持しつつ条件づけを改善する条件は何か。

主な発見

• ディスクリミネーターのみの非対称正則化は、平衡点を変更せずに曲率を導入して条件づけを改善する。
• 滑らかさと Gauss–Newton 識別性の仮定の下で、正則化済み作用素の明示的なリプシッツと強い単調性の定数が導出される。
• 正則化された作用素 F_γ は局所的に Lipschitz で L = L_0 + γ κ_tot、強い単調性は μ ≥ min{μ_θ, μ_φ + γ λ_0} を満たし、収束保証を可能にする。
• EFTP は正則化された VI のナッシュ均衡へ線形収束し、所定の精度 ε に対して log(1/ε) 回の反復複雑度を持つ。
• bilinear の toy model での数値実験は、ディスクリミネーターのみの曲率が FB ダイナミクスを安定化させ、EG および EFTP の収束を可能にし、EFTP は勾配評価回数を抑えつつ同等の性能を示す。