[論文レビュー] MMD GAN: Towards Deeper Understanding of Moment Matching Network

Chunliang Li, Wei-Cheng Chang+3 more|arXiv (Cornell University)|May 24, 2017

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 255

ひとこと要約

MMD GANは対立的カーネル学習によりモーメントマッチングネットワークを強化し、MNIST、CIFAR-10、CelebA、LSUNなどのベンチマークでGANと競合する結果を、より小さなバッチサイズで達成します。

ABSTRACT

Generative moment matching network (GMMN) is a deep generative model that differs from Generative Adversarial Network (GAN) by replacing the discriminator in GAN with a two-sample test based on kernel maximum mean discrepancy (MMD). Although some theoretical guarantees of MMD have been studied, the empirical performance of GMMN is still not as competitive as that of GAN on challenging and large benchmark datasets. The computational efficiency of GMMN is also less desirable in comparison with GAN, partially due to its requirement for a rather large batch size during the training. In this paper, we propose to improve both the model expressiveness of GMMN and its computational efficiency by introducing adversarial kernel learning techniques, as the replacement of a fixed Gaussian kernel in the original GMMN. The new approach combines the key ideas in both GMMN and GAN, hence we name it MMD GAN. The new distance measure in MMD GAN is a meaningful loss that enjoys the advantage of weak topology and can be optimized via gradient descent with relatively small batch sizes. In our evaluation on multiple benchmark datasets, including MNIST, CIFAR- 10, CelebA and LSUN, the performance of MMD-GAN significantly outperforms GMMN, and is competitive with other representative GAN works.

研究の動機と目的

• GMMNの固定Gaussianカーネルを対立的に学習されるカーネルへ置換し、表現力と効率を高める動機付け。
• カーネル学習MMD目的の連続性・微分可能性・weak* 位相収束を理論的に保証する。
• 実用的な訓練アルゴリズム（MMD GAN）を開発し、最適化と安定性を実現可能な形で改善する。
• 標準データセット上でGMMNよりも Empirical 性能を改善し、最先端のGANと競合する結果を示す。

提案手法

• f_phiによる埋め込み特徴写像を介してカーネル族を最適化することで、MMDを定式化しmin_?_theta max_?_phi M_{k∘f_phi}(P_X, P_theta)へ導く。
• テスト性能を高めるため、学習可能な特徴変換を持つRBFカーネルの混合を使用する。
• モデルg_theta（生成器）とf_phi（埋め込み特徴写像/エンコーダ）をニューラルネットワークとして表し、重みクリッピングや勾配ペナルティなどのリプシッツ制約を用いた勾配法で最適化する。
• f_phiの可逆性を促す自己符号化器目的で正則化しつつ、その必要性に関する経験的所見に留意する。
• 目的値を変えずにカーネルのパラメトリック空間を制約して訓練を速める実現可能な集合の縮小を提案する。

実験結果

リサーチクエスチョン

• RQ1 MMDにおける対立的に学習されたカーネルは、固定カーネルより生成モデルの訓練時の二標本検定力を強化できるか。
• RQ2 埋め込み特徴写像の最大化は勾配ベースの訓練に適した連続性と微分可能性を持つ目的を生み出すか。
• RQ3 MMD GANは標準ベンチマークにおいてGMMNや代表的なGAN（例：WGAN）と比較して、サンプル品質と多様性の点でどうか。
• RQ4 MMD GANの計算上のトレードオフは、GMMNおよびWGANと比較して、特にバッチサイズの観点でどうなるか。
• RQ5 実用的な訓練のために自己符号化器ベースの正則化は必要か。

主な発見

方法	Scores ± std.
Real data	11.95 ± .20
DFM	7.72
ALI	5.34
Improved GANs	4.36
MMD GAN	6.17 ± .07
WGAN	5.88 ± .07
GMMN-C	3.94 ± .04
GMMN-D	3.47 ± .03

• 学習されたカーネルを用いたMMDは、生成器パラメータに対して連続かつ微分可能な目的を生み出し、勾配降下法による最適化を可能にする。
• max_phi M_{f_phi}(P_X, P_theta)は訓練が進むにつれて分布としてP_Xへ収束する（weak* 位相の性質）。
• 対立的カーネルを用いたMMD GANはMNISTとCIFAR-10でGMMNよりも鋭く多様な画像を生成し、複数のデータセットでWGANと競合的な結果を示す。
• MMD GANはGMMNに比べて意味のある改善を達成しつつ、非常に小さなバッチサイズを使用して訓練効率を向上させる。
• CIFAR-10上のInceptionスコアはMMD GANをGMMN系より上回り、多くのGANベースのベースラインと競合的だが、DFMはより高いスコアを示す。
• WGANとMMD GANにはつながりがある：特定のカーネル/線形化を用いるとMMD GANは一階モーメントマッチングに整合し、MMDはGaussianカーネルを介して高次モーメントを捉える。