[論文レビュー] On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow

Youssef Mroueh, Truyen Nguyen|arXiv (Cornell University)|Nov 4, 2020

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、生成器分布の統計多様体上に新しいリーマン構造を導入することで、MMD GANにおける勾配降下法が目的のデータ分布へグローバル収束することを保証するパラメトリックなカーネル化勾配フローを提案する。主な貢献は、MMD_{\alpha,\beta}のウェッジ関数を用いた勾配降下が、この新しい幾何的枠組み下でMMD汎関数の勾配フローに相当することを示したことであり、明示的な条件下で非漸近的収束保証が得られる。

ABSTRACT

We consider the maximum mean discrepancy ($\\mathrm{MMD}$) GAN problem and propose a parametric kernelized gradient flow that mimics the min-max game in gradient regularized $\\mathrm{MMD}$ GAN. We show that this flow provides a descent direction minimizing the $\\mathrm{MMD}$ on a statistical manifold of probability distributions. We then derive an explicit condition which ensures that gradient descent on the parameter space of the generator in gradient regularized $\\mathrm{MMD}$ GAN is globally convergent to the target distribution. Under this condition, we give non asymptotic convergence results of gradient descent in MMD GAN. Another contribution of this paper is the introduction of a dynamic formulation of a regularization of $\\mathrm{MMD}$ and demonstrating that the parametric kernelized descent for $\\mathrm{MMD}$ is the gradient flow of this functional with respect to the new Riemannian structure. Our obtained theoretical result allows ones to treat gradient flows for quite general functionals and thus has potential applications to other types of variational inferences on a statistical manifold beyond GANs. Finally, numerical experiments suggest that our parametric kernelized gradient flow stabilizes GAN training and guarantees convergence.

研究の動機と目的

• MMD GANにおける勾配降下の分布収束特性を理解すること。これは、実用的成功が見られる一方で、理論的裏付けが不十分な分野である。
• 特にMMDに基づく目的関数を用いたGANにおける勾配降下の厳密な収束解析の欠如に取り組むこと。
• 入力空間ではなく生成器パラメータ上で作用する新しいパラメトリックエネルギー正則化子MMD_{\\alpha,\\beta}を導入すること。
• 統計多様体上でのMMDの動的定式化を導出し、勾配フローを定義する新しいリーマン計量d_{\alpha,\beta}を定義すること。
• 明示的な条件下で、MMD GANにおける勾配降下の非漸近的収束結果を確立すること。

提案手法

• 勾配正則化MMD GANのミニマックスゲームを模倣するパラメトリックなカーネル化勾配フローを提案し、降下方向としてMMD_{\alpha,\beta}ウェッジ関数を用いる。
• 入力空間ではなく生成器パラメータに関して勾配を取るパラメトリックエネルギーに基づく新しい正則化子MMD_{\alpha,\beta}を導入する。
• 統計多様体上でのMMDの動的定式化を導出し、新しい幾何的構造を定義するためのリーマン計量テンソルd_{\alpha,\beta}を構築する。
• MMD_{\alpha,\beta}ウェッジ関数によって駆動されるMMD GANにおける勾配降下フローが、d_{\alpha,\beta}計量下でのMMD汎関数の勾配フローに正確に一致することを示す。
• MMD汎関数のフローに沿った減衰を解析することで、固有値およびカーネルパラメータに関する条件の下で非漸近的収束バウンドを確立する。
• ミニバッチ推定に基づくMMD_{\alpha,\beta}目的関数を用い、RMSProp更新をウェッジ関数（vまたはpを介して）および生成器パラメータ（θ）の両方に対して適用する離散アルゴリズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 MMD GANにおける勾配降下が、どのような条件下で目的のデータ分布へグローバル収束するか。
• RQ2 生成器分布の統計多様体上で、MMD汎関数の下での降下を保証するパラメトリックなカーネル化勾配フローを構築できるか。
• RQ3 MMD GANの勾配降下が、あるリーマン幾何的構造の下で勾配フローに相当するような統計多様体上に、適切なリーマン幾何的構造が存在するか。
• RQ4 提案されたMMD_{\alpha,\beta}正則化子は、標準的なMMD GANと比較して、訓練の安定性と収束性をどのように向上させるか。
• RQ5 提案された幾何的枠組み下で、MMD GANにおける勾配降下の非漸近的収束速度はいかほどか。

主な発見

• 条件 α‖D_θ u_t‖_ℋ² + β⟨u_t, D_θ u_t⟩_ℋ = 0 が成立する場合、MMD GANにおける勾配降下は、目的の分布へグローバルに収束する。これは D_θ h_θ = 0 に等価である。
• 新しいリーマン計量d_{\alpha,\beta}下では、MMDのパラメトリックなカーネル化勾配フローが、MMD汎関数の勾配フローに正確に一致する。
• 非漸近的収束が、次の減衰推定式により確立される： log(ℱ(q_θ_t)/ℱ(q_θ_0)) ≤ -∫₀ᵗ [λ_i(θ_s)a(θ_s,u_s)γ(θ_s)] / [αλ_i(θ_s)a(θ_s,u_s) + β] ds。
• 収束速度は固有値λ_i(θ_s)、カーネル整合性a(θ_s,u_s)、および曲率パラメータγ(θ_s)に依存し、これらの値が大きいほど減衰が速くなる。
• 数値実験では、提案フローが訓練を安定化させ、特にα > 0の場合にモード崩壊を防止することが示された。標準MMD GAN（α = 0）とは対照的である。
• ウェッジ関数が深層ニューラルネットワーク（学習されたカーネル）である場合でも、本手法は良好に動作し、ニューラルタングエント・カーネルの領域への一般化の可能性を示唆している。