[论文解读] Gradient Estimators for Implicit Models

Yingzhen Li, Richard E. Turner|arXiv (Cornell University)|May 19, 2017

Markov Chains and Monte Carlo Methods参考文献 58被引用 35

一句话总结

本文提出了一种新型的Stein梯度估计器，用于通过直接估计得分函数（对数密度梯度）来训练隐式概率模型，而无需对难以计算的似然函数进行近似。该方法在无梯度MCMC、贝叶斯神经网络的元学习以及熵正则化GAN中实现了稳定且高质量的训练，实证结果表明，与得分匹配和KDE基估计器相比，其生成样本在多样性和稳定性方面表现更优。

ABSTRACT

Implicit models, which allow for the generation of samples but not for point-wise evaluation of probabilities, are omnipresent in real-world problems tackled by machine learning and a hot topic of current research. Some examples include data simulators that are widely used in engineering and scientific research, generative adversarial networks (GANs) for image synthesis, and hot-off-the-press approximate inference techniques relying on implicit distributions. The majority of existing approaches to learning implicit models rely on approximating the intractable distribution or optimisation objective for gradient-based optimisation, which is liable to produce inaccurate updates and thus poor models. This paper alleviates the need for such approximations by proposing the Stein gradient estimator, which directly estimates the score function of the implicitly defined distribution. The efficacy of the proposed estimator is empirically demonstrated by examples that include meta-learning for approximate inference, and entropy regularised GANs that provide improved sample diversity.

研究动机与目标

• 解决似然函数难以计算、标准梯度方法失效的隐式概率模型训练挑战。
• 消除对似然函数或优化目标近似的依赖，以避免训练不稳定和模型性能差的问题。
• 开发一种通用的梯度估计器，可直接估计隐式定义分布的得分函数。
• 使最大似然、变分推断和MCMC等成熟推断技术能够应用于隐式模型。
• 提升生成建模中的样本多样性与训练稳定性，特别是在GAN和近似贝叶斯推断中。

提出的方法

• 提出Stein梯度估计器作为得分匹配的推广，适用于参数化和非参数化形式。
• 使用基于核的估计方法，采用Epanechnikov核计算得分函数，确保满足边界条件。
• 采用U-统计量形式以提高估计的一致性，并在高维设置中降低方差。
• 将估计器应用于基于梯度的隐式模型训练，包括GAN和MCMC框架。
• 将估计器集成到熵正则化GAN（如BEGAN）中，以促进多样化的样本生成。
• 采用可微的生成过程，其中样本通过参数化变换 $\bm{x} = \bm{f}_{\bm{\theta}}(\bm{z})$ 生成，从而支持通过生成器进行反向传播。

实验结果

研究问题

• RQ1 能否在不近似难以计算的似然函数的前提下，为隐式模型构建直接的得分函数估计器？
• RQ2 与得分匹配和KDE插值估计器相比，Stein梯度估计器在训练稳定性和样本质量方面表现如何？
• RQ3 Stein估计器能否有效支持无梯度MCMC和贝叶斯神经网络中近似后验抽样的元学习？
• RQ4 通过Stein估计器实现的熵正则化是否能在不损害图像质量的前提下提升GAN中的样本多样性？
• RQ5 所提出的估计器能否以极低的计算开销高效应用于现有GAN框架？

主要发现

• 在熵正则化BEGAN中，Stein梯度估计器显著提升了样本多样性，在所有定量指标上均优于得分匹配和KDE基估计器。
• 在MNIST的Inception分数指标上，基于Stein的GAN取得了最高分，表明其生成样本在真实感和多样性方面均表现最优，且与竞争方法差距显著。
• Stein估计器实现了最高的邻居标签向量熵（0.95）和最低的平均 $l_1$ 距离（1.82）至最近邻，表明其具有高多样性与泛化能力。
• 三种方法（Stein、得分、KDE）的训练速度相近（约10.3秒/周期），表明熵正则化带来的计算开销可忽略不计。
• KDE基方法在最近邻的 $l_1$ 距离上最低，表明其有记忆训练数据的趋势，而Stein估计器则避免了该问题。
• 所提方法成功实现了无梯度MCMC和元学习在后验抽样中的稳定训练，证明其在GAN之外也具有广泛适用性。