[论文解读] Entropic GANs meet VAEs: A Statistical Approach to Compute Sample Likelihoods in GANs

Yogesh Balaji, Hamed Hassani+2 more|arXiv (Cornell University)|Oct 9, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 10

一句话总结

本文提出了一种统计框架，通过引入基于生成器输出和损失函数的显式概率模型，使生成对抗网络（GANs）能够计算样本似然。证明了带熵正则化的GAN（entropic GANs）会最大化平均对数似然的变分下界，从而在统一的统计原理下将GANs与VAEs统一起来，并使GANs具备基于似然的推理能力。

ABSTRACT

Building on the success of deep learning, two modern approaches to learn a probability model from the data are Generative Adversarial Networks (GANs) and Variational AutoEncoders (VAEs). VAEs consider an explicit probability model for the data and compute a generative distribution by maximizing a variational lower-bound on the log-likelihood function. GANs, however, compute a generative model by minimizing a distance between observed and generated probability distributions without considering an explicit model for the observed data. The lack of having explicit probability models in GANs prohibits computation of sample likelihoods in their frameworks and limits their use in statistical inference problems. In this work, we resolve this issue by constructing an explicit probability model that can be used to compute sample likelihood statistics in GANs. In particular, we prove that under this probability model, a family of Wasserstein GANs with an entropy regularization can be viewed as a generative model that maximizes a variational lower-bound on average sample log likelihoods, an approach that VAEs are based on. This result makes a principled connection between two modern generative models, namely GANs and VAEs. In addition to the aforementioned theoretical results, we compute likelihood statistics for GANs trained on Gaussian, MNIST, SVHN, CIFAR-10 and LSUN datasets. Our numerical results validate the proposed theory.

研究动机与目标

• 解决GANs的根本局限：由于缺乏显式概率模型，无法计算样本似然。
• 通过证明熵正则化的GANs优化了平均对数似然的变分下界，弥合GANs与VAEs之间的统计差距。
• 提出一种系统性方法，利用训练好的GAN模型计算样本似然的下界，从而使其可用于统计推断任务。
• 在MNIST、CIFAR-10、SVHN、LSUN以及高斯分布数据上对理论框架进行实证验证。
• 证明所推导的似然代理（likelihood surrogate）是真实对数似然的紧近似，尤其在生成器为线性或耦合关系学习良好时表现更优。

提出的方法

• 提出显式条件概率模型：$ f_{Y|X=\mathbf{x}}(\mathbf{y}) \propto \exp(-\ell(\mathbf{y}, \mathbf{G}(\mathbf{x}))) $，其中 $ \ell $ 为损失函数（如L2或L2²）。
• 证明最小化熵正则化的GAN目标（带熵正则化的Wasserstein GAN）等价于最大化平均样本对数似然的变分下界。
• 利用最优传输理论与熵正则化，推导出耦合分布 $ \mathbb{P}_{X|Y=\mathbf{y}} $，该分布可作为潜在变量的近似后验。
• 通过结合期望重构损失、潜在后验的熵以及常数项，构建似然代理。
• 利用训练好的GAN的生成器与判别器，通过熵最优传输中的最优耦合，估计潜在后验 $ \mathbb{P}_{X|Y=\mathbf{y}} $。
• 将该框架应用于线性与非线性生成器，线性情况下使用闭式解，非线性情况下使用经验估计。

实验结果

研究问题

• RQ1 能否为GANs构建一个统计框架，使其在隐式生成机制下仍能计算样本似然？
• RQ2 熵正则化GANs的优化目标是否等价于最大化平均对数似然的变分下界，从而使其与VAEs对齐？
• RQ3 在MNIST、CIFAR-10和SVHN等真实世界数据集上，对数似然的变分下界有多紧？
• RQ4 从GANs推导出的似然代理能否作为真实数据似然的可靠代理，用于统计推断任务？
• RQ5 在生成器为线性或非线性的情况下，真实后验 $ f_{X|Y=\mathbf{y}} $ 与GAN学习得到的后验 $ \mathbb{P}_{X|Y=\mathbf{y}} $ 之间的近似差距是多少？

主要发现

• 熵正则化GAN的目标在理论上等价于最大化平均样本对数似然的变分下界，为GAN训练提供了统计依据。
• 对于使用二次损失的线性生成器，真实后验 $ f_{X|Y=\mathbf{y}} $ 与GAN学习后验 $ \mathbb{P}_{X|Y=\mathbf{y}} $ 之间的近似差距远小于对数似然值的量级。
• 在线性情况下，真实后验与学习后验之间的KL散度较小，且可解析计算，验证了该下界的高度紧致性。
• 对于非线性生成器，所估计的似然代理与真实数据对数似然高度接近，如表2所示，表明其具有出色的实证性能。
• 该似然代理使GAN在模型选择、异常检测和领域偏移量化等实际应用中具备可行性。
• 该框架表明，使用熵正则化的GAN不仅提升了训练稳定性，还提供了具有统计意义的似然估计。