[论文解读] Learning to Draw Samples with Amortized Stein Variational Gradient Descent

Yihao Feng, Dilin Wang+1 more|arXiv (Cornell University)|Jul 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 29

一句话总结

本文提出了一种近似 Stein 变分梯度下降（aSVGD），一种仅通过未归一化密度评估和梯度查询即可训练随机神经网络以从复杂目标分布中生成样本的方法。通过沿 Stein 变分梯度方向迭代调整网络参数，该方法实现了高效、黑箱采样，无需显式计算推理网络的密度，显著提升了变分自编码器中的采样质量，并支持自适应 MCMC 超参数学习。

ABSTRACT

We propose a simple algorithm to train stochastic neural networks to draw samples from given target distributions for probabilistic inference. Our method is based on iteratively adjusting the neural network parameters so that the output changes along a Stein variational gradient direction (Liu & Wang, 2016) that maximally decreases the KL divergence with the target distribution. Our method works for any target distribution specified by their unnormalized density function, and can train any black-box architectures that are differentiable in terms of the parameters we want to adapt. We demonstrate our method with a number of applications, including variational autoencoder (VAE) with expressive encoders to model complex latent space structures, and hyper-parameter learning of MCMC samplers that allows Bayesian inference to adaptively improve itself when seeing more data.

研究动机与目标

• 开发一种通用、可微的优化方法，用于训练随机神经网络，从仅由其未归一化密度指定的任意目标分布中抽样。
• 通过允许端到端、近似化的采样策略学习，解决传统变分推断和 MCMC 的局限性，且无需显式计算推理网络的密度。
• 在需要重复抽样的场景（如在线学习、个性化预测和潜在变量建模）中，实现高效、可扩展且自适应的概率推断。
• 展示该方法在变分自编码器中学习表达性强的潜在表示和多模态后验分布，以及在缺失数据插补任务中的有效性。

提出的方法

• 提出近似 SVGD（aSVGD），一种类似投影梯度的算法，通过沿 Stein 变分梯度方向优化神经网络参数，以最小化与目标分布的 KL 散度。
• 使用一组粒子（样本）来近似 Stein 变分梯度下降中的函数梯度，实现无需对提议分布做参数假设的非参数优化。
• 利用重参数化技巧和蒙特卡洛梯度估计，即使在输出密度不可计算的情况下，也能对随机神经网络进行反向传播。
• 通过引入乘法伯努利丢弃噪声，将该方法应用于训练变分自编码器中的表达性强编码器，实现多模态后验近似。
• 在实验中采用哈密顿退火重要性采样（HAIS）进行无偏对数似然估计和有效样本量（ESS）评估。
• 将推理网络视为黑箱可微模拟器，仅需访问输入样本和参数梯度，无需显式输出分布密度。

实验结果

研究问题

• RQ1 我们能否在不显式计算推理网络密度的前提下，训练随机神经网络，从复杂且未归一化的目标分布中生成高质量样本？
• RQ2 如何实现采样策略的近似化、端到端学习，使其在具有相似结构的分布间具备泛化能力？
• RQ3 aSVGD 是否能通过引入结构化噪声，实现多模态潜在表示，从而改善变分自编码器中的后验近似？
• RQ4 aSVGD 是否能通过允许推理网络随数据增加而自我改进，实现 MCMC 采样器中超参数的自适应学习？

主要发现

• ESteinVAE-f 在二值化 MNIST 上达到 88.85 nats 的测试负对数似然，优于 VAE-f（90.32 nats），表明生成质量显著提升。
• ESteinVAE-CNN 在测试中达到 84.31 nats 的负对数似然，略优于 VAE-CNN（84.68 nats）和 EVAE-CNN（84.43 nats），且有效样本量更高（86.57 vs. 85.50）。
• 在缺失数据插补任务中，ESteinVAE-CNN 达到 84% 的准确率和 0.501 的熵，优于 EVAE-CNN（82%，0.382）和 VAE-CNN（83%，0.340），表明重建结果更具多样性且更准确。
• 可视化结果表明，ESteinVAE-CNN 在模糊情境下能生成多样化的重建结果，而 VAE-CNN 和 EVAE-CNN 因后验分布过于自信且协方差为对角矩阵，易陷入局部模式。
• 该方法通过允许神经采样器随数据增加而自我改进，实现了自适应 MCMC 超参数学习，支持自提升的贝叶斯推断。
• HAIS 估计的有效样本量在各方法间相近，证实 NLL 差异并非源于估计偏差，而是真实反映了模型质量的提升。