[論文レビュー] SGD Learns One-Layer Networks in WGANs

Qi Lei, Jason D. Lee+2 more|arXiv (Cornell University)|Oct 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 13

ひとこと要約

本稿は、多項式時間およびサンプル複雑度のもとで、多項式時間およびサンプル複雑度のもとで、1層のWasserstein GANにおける確率的勾配降下・上昇（SGDA）が、最適な生成器へグローバル収束することを確立している。1層の生成器（例：ReLU、シグモイドなど一般的な活性化関数を用いる）と2次的判別器を用いた場合、実現可能性のもとでSGDAはグローバル収束を達成し、O(1/√n)の最適統計レートを達成する。

ABSTRACT

Generative adversarial networks (GANs) are a widely used framework for learning generative models. Wasserstein GANs (WGANs), one of the most successful variants of GANs, require solving a minmax optimization problem to global optimality, but are in practice successfully trained using stochastic gradient descent-ascent. In this paper, we show that, when the generator is a one-layer network, stochastic gradient descent-ascent converges to a global solution with polynomial time and sample complexity.

研究の動機と目的

• GAN学習の実験的成功と理論的理解のギャップを、非凸・非凹な目的関数を有するWGANにおいて閉じること。
• 1層生成器を備えたWGANにおける確率的勾配降下・上昇（SGDA）のグローバル収束保証を確立すること。
• 現実的な仮定のもとで、1層WGANにおける多項式時間および多項式サンプル複雑度の学習が可能であることを示すこと。
• 適切に設計された2次的判別器が、情報理論的下界に一致するパラメトリックなO(1/√n)の統計的レートを保証することを証明すること。
• 非凸設定下でも、判別器誘導距離におけるSGDAがグローバル最適生成器へ収束することを示すこと。

提案手法

• ReLU、シグモイド、leaky ReLUを含む広範なクラスの活性化関数を用いた1層生成器と2次的判別器を用いたWGANの目的関数を形式化する。
• 確率的勾配降下・上昇（SGDA）を用いてミニマックス最適化問題を分析し、実現可能性のもとでグローバル最適生成器への収束を証明する。
• 生成器の品質を測るための判別器誘導距離を用いた新しい分析フレームワークを導入し、グローバル収束を保証する。
• 集中不等式（補題4–5）を用いて、確率的勾配が高確率で真の勾配を近似することを示す。
• 2次の停留所（SOSP）分析（Geら、2015年の定理3）を用いて、SGDAが多項式時間内で近似的な停留所に到達することを示す。
• 重要な補題（補題7）を用いて、目的関数の任意のε-一次停留所（ε-FOSP）が、フロベニウスノルムで真の解からの距離がO(ε)であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 非凸的・非凹的目的関数を有する1層WGANにおいて、確率的勾配降下・上昇（SGDA）は最適な生成器へグローバル収束するか？
• RQ2 WGANフレームワーク下で1層生成器を学習する際、SGDAの時間的・サンプル複雑度は何か？
• RQ3 2次的判別器の使用が、情報理論的下界に一致する統計的レートを保証するか？
• RQ4 生成器が線形でない（例：ReLU、シグモイド）場合でも、グローバル収束を保証できるか？
• RQ5 確率的勾配と集中不等式は、グローバル最適解への収束にどのように影響するか？

主な発見

• SGDAは、多項式時間およびサンプル複雑度のもとで、1層WGANにおける最適生成器へグローバル収束する。
• 本手法は、Wuら（2019）が示した1層生成器の学習における下界に一致するO(1/√n)の統計的レートを達成する。
• 収束は、真の分布が生成器の能力内にあるという実現可能性仮定のもとで保証される。
• 本分析により、目的関数の任意のε-一次停留所（ε-FOSP）が、フロベニウスノルムで真の解からの距離がO(ε)であることが証明される。
• 確率的勾配は高確率で真の勾配に収束し、アルゴリズムの安定性と正確性が保証される。
• 本結果は、Feizi ら（2017）の線形生成器に関する先行研究を、標準的な活性化関数を有する非線形1層ネットワークへ拡張する。