[论文解读] Metropolis-Hastings Generative Adversarial Networks

Ryan Turner, Jane Hung+3 more|arXiv (Cornell University)|Nov 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 18

一句话总结

该论文提出马尔可夫链蒙特卡洛生成对抗网络（MH-GAN），利用预训练判别器作为密度比估计器，构建一个围绕预训练生成器的马尔可夫链蒙特卡洛（MCMC）封装。通过将判别器输出作为接受概率，对生成器采样结果应用梅特罗波利斯-黑斯廷斯算法，MH-GAN 能够从真实数据分布中生成样本——即使生成器存在缺陷——在 CIFAR-10 和 CelebA 数据集上实现了最先进的 Inception 分数与更优的样本质量。

ABSTRACT

We introduce the Metropolis-Hastings generative adversarial network (MH-GAN), which combines aspects of Markov chain Monte Carlo and GANs. The MH-GAN draws samples from the distribution implicitly defined by a GAN's discriminator-generator pair, as opposed to standard GANs which draw samples from the distribution defined only by the generator. It uses the discriminator from GAN training to build a wrapper around the generator for improved sampling. With a perfect discriminator, this wrapped generator samples from the true distribution on the data exactly even when the generator is imperfect. We demonstrate the benefits of the improved generator on multiple benchmark datasets, including CIFAR-10 and CelebA, using the DCGAN, WGAN, and progressive GAN.

研究动机与目标

• 解决标准 GAN 的局限性，即完全依赖生成器进行采样，即使训练后仍可能产生有偏或低质量的样本。
• 利用判别器在高维空间中比生成器采样能力更精确地估计密度比的能力。
• 通过构建一个使用 MCMC 矫正生成器分布误差的封装生成器 $G'$，提升样本质量。
• 证明当判别器完美时，MH-GAN 能够从真实数据分布 $p_{\text{data}}$ 中生成精确样本，即使生成器存在缺陷。
• 通过引入校准技术，解决 GAN 判别器校准性差的问题，该问题会削弱拒绝采样和基于 MCMC 方法的可靠性，从而提升性能。

提出的方法

• 使用预训练 GAN 的判别器 $D$ 计算密度比 $\frac{p_D(\mathbf{x})}{p_G(\mathbf{x})} = \frac{D(\mathbf{x})}{1 - D(\mathbf{x})}$，该比值足以用于梅特罗波利斯-黑斯廷斯接受率计算。
• 构建一个封装生成器 $G'$，其通过 MCMC 独立采样器生成样本，其中提议样本来自原始生成器 $G$。
• 应用梅特罗波利斯-黑斯廷斯算法，根据判别器输出接受或拒绝提议样本，确保平稳分布与 $p_D$ 一致，而当判别器达到最优时，$p_D$ 等于 $p_{\text{data}}$。
• 引入校准技术（如等渗回归和温度缩放），以提升判别器得分在采样决策中的可靠性。
• 使用多次 MCMC 迭代（例如 $k=640$ 或 $k=800$）来优化采样过程，提升与真实数据的分布对齐效果。
• 将 MH-GAN 框架应用于多种 GAN 架构，包括 DCGAN、WGAN 和渐进式 GAN，证明其广泛适用性。

实验结果

研究问题

• RQ1 是否可以利用判别器输出，通过 MCMC 采样纠正生成器样本中的分布偏差？
• RQ2 当判别器达到最优时，MH-GAN 框架是否能实现从真实数据分布 $p_{\text{data}}$ 的精确采样，即使生成器存在缺陷？
• RQ3 与判别器拒绝采样（DRS）等替代采样方法相比，MH-GAN 在样本质量和接受率方面表现如何？
• RQ4 判别器校准不足在多大程度上影响基于 MCMC 的采样？校准技术能否提升 MH-GAN 的性能？
• RQ5 MH-GAN 是否能有效应用于高级 GAN 架构（如渐进式 GAN），以提升高分辨率图像生成中的样本质量？

主要发现

• 在 CIFAR-10 和 CelebA 上，MH-GAN 在所有测试模型（DCGAN、WGAN、渐进式 GAN）中显著提升了 Inception 分数，所有提升均通过配对 t 检验在 $p < 0.05$ 水平上具有统计显著性。
• 当判别器完美时，MH-GAN 即使在生成器不完美时也能生成来自真实数据分布 $p_{\text{data}}$ 的精确样本，实现了先前方法无法达到的理论保证。
• 判别器校准（尤其是通过等渗回归）带来显著性能提升，$Z$-统计量从原始值的 $-77.57$ 到 $48.98$ 降低至校准后的 $-2.91$ 到 $3.60$，表明得分可靠性显著提高。
• 与 DRS 相比，MH-GAN 具有更高的接受率和更优的样本质量，人工评估显示在 CelebA-HQ 上，MH-GAN 选择的扭曲或缺陷图像显著少于 PGAN 或 DRS。
• 在渐进式 GAN 上，MH-GAN 在 16 个采样批次中将缺陷图像数量减少至零，而 DRS 仍产生 7 个缺陷样本，且 MH-GAN 在单侧检验中以 $p=0.013$ 显著优于 PGAN。
• MH-GAN 采样结果的判别器得分分布与真实图像高度一致，表明其有效纠正了生成器中的模式崩溃和分布偏差。