[論文レビュー] Non-parametric estimation of Jensen-Shannon Divergence in Generative Adversarial Network training

Mathieu Sinn, Ambrish Rawat|arXiv (Cornell University)|May 25, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 11

ひとこと要約

本稿では、生成モデルの訓練を改善するために、カーネルGANを用いた非パrametricなJensen-Shannon発散推定を提案する。最小化-最大化フレームワークを用い、生成器とカーネルのパラメータを同時に最適化し、帯域幅の適応的スケジューリングを実施することで、MNIST、CIFAR-10、CelebAにおいて、生成サンプルの多様性と忠実性が向上し、InceptionスコアやJSDといった主要指標において、ベースラインのMMDに基づくモデルを上回る結果を得た。

ABSTRACT

Generative Adversarial Networks (GANs) have become a widely popular framework for generative modelling of high-dimensional datasets. However their training is well-known to be difficult. This work presents a rigorous statistical analysis of GANs providing straight-forward explanations for common training pathologies such as vanishing gradients. Furthermore, it proposes a new training objective, Kernel GANs, and demonstrates its practical effectiveness on large-scale real-world data sets. A key element in the analysis is the distinction between training with respect to the (unknown) data distribution, and its empirical counterpart. To overcome issues in GAN training, we pursue the idea of smoothing the Jensen-Shannon Divergence (JSD) by incorporating noise in the input distributions of the discriminator. As we show, this effectively leads to an empirical version of the JSD in which the true and the generator densities are replaced by kernel density estimates, which leads to Kernel GANs.

研究の動機と目的

• カーネル統計に基づく非パrametricなJensen-Shannon発散推定を可能にすることで、生成モデルの訓練を改善すること。
• 適応的カーネル帯域幅スケジューリングと正則化を用いて、GANにおける不安定性やモード崩壊を是正すること。
• オートエンコーダーによる特徴空間圧縮を活用し、CIFAR-10 や CelebA といった高次元データセットへのカーネルベースの生成モデルのスケーラビリティを向上させること。
• 複数の定量的指標を用いて、サンプル忠実性、多様性、分布の一貫性のトレードオフを評価すること。
• カーネルベースのGANにおいて、バランスの取れたJSD項と帯域幅チューニングが一般化性能に与える影響が重要であることを示すこと。

提案手法

• 生成器パラメータθとカーネルパラメータσを交互に更新することで、カーネル化された発散目的関数を最小化する最小化-最大化最適化フレームワークを提案する。
• メディアン・トリックを用いて選択されたバンド幅を有するRBFカーネルの混合を採用し、訓練中に徐々に減少させる帯域幅スケジューリングを実施し、模擬冷却に類似した挙動を再現する。
• 高次元画像（例：CIFAR-10、CelebA）を低次元の潜在空間に投影するためにオートエンコーダーを用い、安定した訓練を実現する。
• li2017mmdganの設定に従い、オートエンコーダーの再構成損失を正則化項として導入し、訓練を安定化させる。
• データ空間または特徴空間における生成サンプルと実サンプルの間で計算されたカーネルベースのMMD統計を用いて、Jensen-Shannon発散を推定する。
• 10,000個の生成サンプルを用いたモンテカルロ推定を、すべての評価指標に適用する。

実験結果

リサーチクエスチョン

• RQ1 非パrametricなJensen-Shannon発散推定は、GANの訓練安定性とサンプル品質の向上に寄与するか？
• RQ2 適応的カーネル帯域幅スケジューリングは、カーネルベースのGANにおけるモードカバレッジと一般化性能にどのように影響を与えるか？
• RQ3 オートエンコーダーによる低次元特徴空間の利用は、高次元データセットにおける訓練のスケーラビリティをどの程度向上させるか？
• RQ4 JSD目的関数の第一項と第二項は、忠実性と多様性という観点から生成器の性能にどのように関連しているか？
• RQ5 カーネルGANは、GMMN や MMD-GAN といった最先端のMMDベースのモデルと比較して、競争力のあるInceptionスコアとMMD値を達成できるか？

主な発見

• MNISTにおけるディープ畳み込み（DC）アーキテクチャは、忠実性と多様性のバランスが最も良く、期待エントロピー（EE）が0.289、Inceptionスコア（LS）が7.464と、MNISTテストセットのベースラインに最も近い結果を達成した。
• FC-FSモデルは非常に滑らかなサンプルを生成したが、多様性が低下しており、JSD-F（0.769）が高く、JSD-S（0.603）が低く、JSD項の不均衡が顕著に現れた。
• CIFAR-10では、カーネルGANがInceptionスコア4.22 ± 0.02を達成し、GMMN-AE（3.94 ± 0.04）やGMMN（3.47 ± 0.03）を大きく上回ったが、MMD-GAN（6.17 ± 0.07）には及ばなかった。
• カーネル帯域幅は、過学習やモード崩壊の是正に効果的な「ノブ」として機能し、極端な帯域幅では不安定性が観察された。
• 本手法は、ハイパーパramータを最適化せずとも、CIFAR-10 や CelebA といった高次元データセットへのスケーリングに成功し、li2017mmdganの結果と質的に同等のサンプルを生成した。
• JSD目的関数の二つの項（JSD-F と JSD-S）のバランスを取ることが、生成器の一般化能力を高めるために極めて重要であると特定された。