[論文レビュー] GAN and VAE from an Optimal Transport Point of View

Aude Genevay, Gabriel Peyré+1 more|arXiv (Cornell University)|Jun 6, 2017

Nuclear reactor physics and engineering参考文献 5被引用数 38

ひとこと要約

この論文は、最適輸送の観点から生成対抗ネットワーク（GANs）と変分オートエンコーダー（VAEs）を統一し、両者を最小カンタロビッチ推定（MKE）問題の解として扱う。WGANとWVAEは、同じ最適輸送目的関数の双対的定式化として現れ、WGANは双対ポテンシャルを用いた敵対的訓練に注力し、WVAEは緩和された周辺制約を伴うオートエンコーディングに注力する。これにより、両者の訓練安定性と生成品質の違いが説明される。

ABSTRACT

This short article revisits some of the ideas introduced in arXiv:1701.07875 and arXiv:1705.07642 in a simple setup. This sheds some lights on the connexions between Variational Autoencoders (VAE), Generative Adversarial Networks (GAN) and Minimum Kantorovitch Estimators (MKE).

研究の動機と目的

• 最適輸送の下で、両者を最小カンタロビッチ推定（MKE）の例として解釈することにより、GANsとVAEsの理論的理解を統一すること。
• 同じ最適輸送問題のプリマルおよびデュアル定式化として、敵対的訓練（WGAN）とオートエンコーディング（WVAE）の双対性を明確にすること。
• 勾配計算の観点から、プリマルとデュアル定式化における勾配の違いが、訓練安定性や生成品質の観点でどのように関連するかを説明すること。
• VAEsにおける周辺制約の緩和（パrameterizedエンコーダーマップを介して）が、WVAE定式化における収束性とバイアスに与える影響を分析すること。
• 非パラメトリック極限（モデル容量と正則化が釣り合う状態）において、WGANとWVAEが真のMKE解に収束する理論的性質を調査すること。

提案手法

• GANsとVAEsを、生成分布と実測データの間の Wasserstein 距離を最小化する最小カンタロビッチ推定器（MKE）問題として定式化する。
• Kantorovich ポテンシャルを用いてMKE問題のデュアル定式化を導出し、WGANフレームワークにおけるディスクライマーとして深層ニューラルネットワークを用いる基盤を提供する。
• 深層ニューラルネットワークでパラメータ化された双対ポテンシャル $ h_{ heta} $ を用いて Wasserstein-GAN（WGAN）を定式化し、生成器とディスクライマーのパラメータにおけるミニマックス最適化問題を導出する。
• データから潜在空間への輸送写像を定義するパラメトリックエンコーダー $ f_{ heta} $ を用いて、結合測度の周辺制約を緩和することで、Wasserstein-VAE（WVAE）を提案する。
• c-変換を用いてデュアル問題を簡略化し、WGAN設定における双対ポテンシャルの最適化に確率的勾配降下法を適用可能にする。
• WVAEでは、$ D(f_{ hetalat} u igracevert ho) $ の形の発散項を導入することで、非平衡的で柔軟かつ微分可能な最適輸送定式化を実現し、潜在空間の正則化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GANsとVAEsは、最適輸送に基づく共通の理論的枠組みの下でどのように統一できるか？
• RQ2 深層生成モデルの文脈において、最適輸送のプリマル（MKE）とデュアル（WGAN）定式化の関係は何か？
• RQ3 VAEの訓練がGANの訓練よりも安定しているのはなぜか？これはプリマルとデュアル定式化における勾配計算の違いとどのように関連するか？
• RQ4 WVAEにおける周辺制約の緩和が、推定子のバイアスと収束性に与える影響は何か？
• RQ5 非パラメトリック極限において、WGANとWVAEは同じ解に収束するのか？その実用的意義は何か？

主な発見

• WGANとWVAEの定式化は互いに双対的である：WGANは敵対的ポテンシャルを用いてデュアル問題を最適化するが、WVAEは緩和された周辺制約を伴うプリマル問題を最適化する。
• プリマル勾配式（5）はデュアル勾配式（3）よりも安定しており、後者は双対ポテンシャル $ h^lat $ の正確な最適化を必要とするため、VAEsの実験的安定性が説明される。
• 極限 $ \theta \to \theta_{\text{MKE}} $ において、WGANの解は $ E(\theta_{\text{WGAN}}) \triangleq W_c(g_{\theta}\flat \rho, \nu) \triangleq \text{min} $ を満たすが、WVAEは緩和のためバイアスが生じ、$ E(\theta_{\text{WVAE}}) \triangleq \text{min} $ となるが、$ \theta_{\text{WVAE}} $ はバイアス推定子である。
• 非パラメトリック極限（$ h_\theta $ と $ f_\theta $ の容量が無限大で、$ \theta \to \theta_{\text{MKE}} $ のとき）において、WGANとWVAEは両方とも真のMKEに同じ解に収束するため、理論的には同等であることが示唆される。
• 理論的収束が保証されても、実際の収束速度は遅く、複雑なデータセットでは非パラメトリック極限が良い推定子を生まない可能性がある。これは、非凸最適化による暗黙の正則化が有益であることを示唆する。
• WGANの目的関数は、Wasserstein 距離を最小化する観点からMKEの目的関数よりも厳密に優れているが、WVAEの目的関数は緩和項のため厳密に劣っている。その結果、$ E(\theta_{\text{WGAN}}) \triangleq \text{min} \triangleq E(\theta_{\text{MKE}}) \triangleq E(\theta_{\text{WVAE}}) $ が成り立つ。