[論文レビュー] A Mathematical Introduction to Generative Adversarial Nets (GAN)

yuanming wang|arXiv (Cornell University)|Sep 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 2被引用数 15

ひとこと要約

この論文は、数学的関心を持つ読者を想定して、生成対抗ネットワーク（GANs）について数学的に厳密な導入を提供する。GANsは、データ分布μの密度を模倣する生成器ネットワークνを用いて、μを近似する方法として提示される。敵対的訓練プロセスはミニマックス最適化問題として強調され、分布近似と生成モデリングの原則の観点から、VAEs（変分オートエンコーダ）と対比される。

ABSTRACT

Generative Adversarial Nets (GAN) have received considerable attention since the 2014 groundbreaking work by Goodfellow et al. Such attention has led to an explosion in new ideas, techniques and applications of GANs. To better understand GANs we need to understand the mathematical foundation behind them. This paper attempts to provide an overview of GANs from a mathematical point of view. Many students in mathematics may find the papers on GANs more difficulty to fully understand because most of them are written from computer science and engineer point of view. The aim of this paper is to give more mathematically oriented students an introduction to GANs in a language that is more familiar to them.

研究の動機と目的

• 数学的根拠に基づいたGANsの導入を、数学の学生および研究者向けに提供し、CS／工学寄りのGAN文献と数学的形式主義の間のギャップを埋めること。
• 有限のサンプルから確率分布μを学習する問題を形式化し、その目的として生成器分布νがμを近似することを明確にすること。
• 距離尺度ではなく分布の類似性、すなわち統計的発散の観点から「類似する対象」の概念を明確にすること、すなわちνがμに統計的発散の意味で近いこと。
• GANsと変分オートエンコーダ（VAEs）を、生成メカニズム、損失関数設計、および背後にある確率的仮定の観点から対比すること。
• データ分布μの絶対連続性（密度の存在）を仮定する必要は本質的ではなく、GANフレームワークにおいては緩和可能であることを示すこと。

提案手法

• GANフレームワークをミニマックス最適化問題として形式化：min_G max_D V(D, G) = E_{x~μ}[log D(x)] + E_{z~p_z}[log(1 - D(G(z)))] であり、Dは識別器、Gは生成器である。
• 訓練データセットX ⊂ ℝⁿを、密度p(x)を持つ確率分布μからの有限サンプルとして定義し、μを近似する密度q(x)を持つ生成器νを学習することを目的とする。
• 特にジェンセン・ショーンナー発散を含むf-発散により分布類似性を導入し、GANsが敵対的訓練を通じてこれを最小化することを目的とする。
• VAEsで用いられる再パrameterizationトリックを説明し、確率的潜在変数を介したバックプロパゲーションを可能にし、エンコーダとデコーダのエンドツーエンド訓練を可能にする。
• VAEの損失関数を、再構成誤差（MSEまたはBCE）と、学習された潜在分布と標準正規事前分布とのKL発散の和として提示する。
• 2つの多変量正規分布間のKL発散の明示的公式を用いて、VAE目的関数における正則化項を計算し、微分可能な訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 与えられたデータポイントの訓練セットに「類似する」新しいデータを生成する問題を、数学的にどのように形式化できるか？
• RQ2 GANフレームワークにおける識別器と生成器の役割は何か？そして、それらの敵対的相互作用がどのように分布近似をもたらすのか？
• RQ3 モード崩壊などの問題が生じる可能性があるにもかかわらず、なぜデータ分布μの絶対連続性の仮定がGANsにおいて根本的な制限ではないのか？
• RQ4 最適化目的関数と潜在変数モデリングの観点から、VAEフレームワークはGANsとどのように異なるか？
• RQ5 VAEが再パラメータ化トリックとKL発散正則化を用いる数学的根拠は何か？

主な発見

• GANフレームワークは、生成器と識別器の間のミニマックスゲームとして厳密に形式化可能であり、やや緩い条件下でも最適な生成器分布νが真のデータ分布μに収束することが示される。
• 本論文は、μに密度が存在すること（絶対連続性）がGANフレームワークにとって本質的でないことを示しており、特異的または低次元の分布に対しても敵対的メカニズムが依然として近似可能である。
• VAEsは、再構成誤差と近似事後分布と標準正規事前分布とのKL発散を組み合わせた損失を最小化することで生成モデリングを達成し、再パラメータ化トリックにより微分可能な訓練が可能になる。
• VAE損失関数は明示的に L_VAE = L₁(μ,σ,G) + λ·L₂(μ,σ) として導出され、L₁は期待再構成誤差、L₂はガウス分布に対して閉形式を持つKL発散項である。
• 再パラメータ化トリックにより、z = μ(x) + σ(x) ⊙ ε（ε ~ N(0,1)）と表現することで、損失関数内の期待値が微分可能になる。
• 最適化目的関数の違いは存在するが、GANsとVAEsの両方とも、訓練データと統計的に類似する新しいデータサンプルの生成を可能にする潜在表現を学習することを目的としている。