[论文解读] MMD GAN: Towards Deeper Understanding of Moment Matching Network
MMD GAN 通过对抗性核学习增强 Generative Moment Matching Networks，在 MNIST、CIFAR-10、CelebA、LSUN 等基准上实现了与 GANs 相竞争的结果，同时使用更小的批量大小。
Generative moment matching network (GMMN) is a deep generative model that differs from Generative Adversarial Network (GAN) by replacing the discriminator in GAN with a two-sample test based on kernel maximum mean discrepancy (MMD). Although some theoretical guarantees of MMD have been studied, the empirical performance of GMMN is still not as competitive as that of GAN on challenging and large benchmark datasets. The computational efficiency of GMMN is also less desirable in comparison with GAN, partially due to its requirement for a rather large batch size during the training. In this paper, we propose to improve both the model expressiveness of GMMN and its computational efficiency by introducing adversarial kernel learning techniques, as the replacement of a fixed Gaussian kernel in the original GMMN. The new approach combines the key ideas in both GMMN and GAN, hence we name it MMD GAN. The new distance measure in MMD GAN is a meaningful loss that enjoys the advantage of weak topology and can be optimized via gradient descent with relatively small batch sizes. In our evaluation on multiple benchmark datasets, including MNIST, CIFAR- 10, CelebA and LSUN, the performance of MMD-GAN significantly outperforms GMMN, and is competitive with other representative GAN works.
研究动机与目标
- 动机：用对抗性学习的核替代 GMMN 中的固定高斯核，以提高表达能力和效率。
- 建立理论保证：核学习的 MMD 目标的连续性、可微性，以及弱* 拓扑收敛性。
- 开发一个实际可用的训练算法（MMD GAN），具备可行的优化和稳定性改进。
- 在标准数据集上展示相对于 GMMN 的实证性能提升，以及与最先进的 GANs 相当的结果。
提出的方法
- 通过一个单射特征映射 f_phi，在一族核上进行优化，以对带核学习的 MMD 进行表述，从而得到 min__theta max__phi M_{k∘f_phi}(P_X, P_theta)。
- 使用带可学习特征变换的 RBF 核混合来提高检验力。
- 将 g_theta（生成器）和 f_phi（单射特征映射/编码器）建模为神经网络；采用带有 Lipschitz 约束的梯度基优化（权重裁剪或梯度惩罚）。
- 用自编码器目标进行正则化以促进 f_phi 的可逆性，同时指出其实验发现其必要性。
- 提出可行集合约简，通过约束核参数空间来加速训练，同时不改变目标值。
实验结果
研究问题
- RQ1在 MMD 中对抗性学习的核是否能够提供比固定核更强的两样本检验能力，用于训练生成模型？
- RQ2对单射特征映射的最大化是否能产生适合梯度基训练的连续且可微的目标函数？
- RQ3在标准基准数据集上，MMD GAN 相对于 GMMN 及代表性 GAN（如 WGAN）在样本质量与多样性方面的比较如何？
- RQ4相对于 GMMN 和 WGAN，MMD GAN 的计算权衡是什么，尤其是在批量大小方面？
- RQ5基于自编码器的正则化对 MMD GAN 的实际训练是否必要？
主要发现
| 方法 | 分数 ± 标准差 |
|---|---|
| Real data | 11.95 ± .20 |
| DFM | 7.72 |
| ALI | 5.34 |
| Improved GANs | 4.36 |
| MMD GAN | 6.17 ± .07 |
| WGAN | 5.88 ± .07 |
| GMMN-C | 3.94 ± .04 |
| GMMN-D | 3.47 ± .03 |
- 带学习核的 MMD 在生成器参数上产生连续且可微的目标，便于梯度下降优化。
- max_phi M_{f_phi}(P_X, P_theta) 随着训练进行收敛到 P_X 的分布（弱* 拓扑性质）。
- 具有对抗性核的 MMD GAN 在 MNIST 和 CIFAR-10 上获得比 GMMN 更清晰、更多样的图像，在若干数据集上可与 WGAN 相媲美。
- MMD GAN 相比 GMMN 取得实质性改进，同时使用显著更小的批量大小，提升训练效率。
- 在 CIFAR-10 的 Inception 分数中，MMD GAN 高于 GMMN 的变体，与多数 GAN 基线相比具有竞争力，尽管 DFM 显示更高的分数。
- WGAN 与 MMD GAN 之间存在联系：在特定核/线性化下，MMD GAN 与一次矩匹配一致，而 MMD 通过高斯核捕获更高阶矩。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。