[论文解读] Doubly Reparameterized Gradient Estimators for Monte Carlo Objectives

George Tucker, Dieterich Lawson+2 more|arXiv (Cornell University)|Oct 9, 2018

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

本文提出了双重重参数化梯度（DReG）估计器，这是一种新型的无偏梯度估计器，用于变分推断中的蒙特卡洛目标。通过两次应用重参数化技巧，DReG消除了先前估计器（如Roeder等人提出的）中存在的偏差，显著降低了方差，尤其在样本数量增加时效果更明显——在MNIST、Omniglot以及结构化预测任务上，对IWAE、RWS和JVI目标均实现了性能提升。

ABSTRACT

Deep latent variable models have become a popular model choice due to the scalable learning algorithms introduced by (Kingma & Welling, 2013; Rezende et al., 2014). These approaches maximize a variational lower bound on the intractable log likelihood of the observed data. Burda et al. (2015) introduced a multi-sample variational bound, IWAE, that is at least as tight as the standard variational lower bound and becomes increasingly tight as the number of samples increases. Counterintuitively, the typical inference network gradient estimator for the IWAE bound performs poorly as the number of samples increases (Rainforth et al., 2018; Le et al., 2018). Roeder et al. (2017) propose an improved gradient estimator, however, are unable to show it is unbiased. We show that it is in fact biased and that the bias can be estimated efficiently with a second application of the reparameterization trick. The doubly reparameterized gradient (DReG) estimator does not suffer as the number of samples increases, resolving the previously raised issues. The same idea can be used to improve many recently introduced training techniques for latent variable models. In particular, we show that this estimator reduces the variance of the IWAE gradient, the reweighted wake-sleep update (RWS) (Bornschein & Bengio, 2014), and the jackknife variational inference (JVI) gradient (Nowozin, 2018). Finally, we show that this computationally efficient, unbiased drop-in gradient estimator translates to improved performance for all three objectives on several modeling tasks.

研究动机与目标

• 解决随着样本数量增加，标准梯度估计器在IWAE边界上表现反而变差的反直觉现象。
• 识别并量化Roeder等人（2017）为IWAE提出的梯度估计器中的偏差。
• 开发一种无偏、计算高效的梯度估计器，即使在样本数量较大时也能保持低方差。
• 将所提方法扩展至其他多样本训练技术，如重加权唤醒-睡眠（RWS）和刀切变分推断（JVI）。
• 通过实证结果证明，DReG估计器可显著提升多种生成建模和结构化预测任务中的训练稳定性和模型性能。

提出的方法

• 通过两次应用重参数化技巧，推导出IWAE目标的无偏梯度估计器，从而得到DReG估计器。
• 通过计算IWAE边界关于推理网络参数和潜在变量的梯度的期望，推导出DReG估计器。
• 证明DReG估计器是无偏的，且其方差显著低于标准估计器，尤其在样本数量增加时优势更明显。
• 通过将相同的双重重参数化原理应用于其目标函数，将DReG框架扩展至RWS和JVI。
• 将DReG估计器实现为现有梯度估计器的即插即用替代品，计算成本保持不变。
• 通过DReG估计器的凸组合（如IWAE-DReG和RWS-DReG）探索混合训练策略，以在特定任务上实现更优性能。

实验结果

研究问题

• RQ1 为何标准IWAE边界梯度估计器在样本数量增加时性能反而下降？
• RQ2 Roeder等人（2017）提出的IWAE梯度估计器是否真正无偏？若不然，其偏差的本质是什么？
• RQ3 是否可以通过第二次应用重参数化技巧，消除蒙特卡洛目标梯度估计中的偏差并降低方差？
• RQ4 DReG框架在多大程度上可推广至其他多样本变分推断方法，如RWS和JVI？
• RQ5 DReG估计器是否能在多种生成建模和结构化预测任务中带来可测量的训练稳定性和性能提升？

主要发现

• DReG估计器在理论上是无偏的，且与标准估计器相比，显著降低了梯度方差，尤其在样本数量增加时效果更明显。
• DReG估计器优于Roeder等人（2017）提出的有偏估计器——该估计器此前被认为无偏，但本文揭示其存在不可忽视的偏差。
• 在MNIST和Omniglot数据集上，DReG估计器在所有三种目标（IWAE、RWS、JVI）上均提升了测试对数似然界，且方差持续降低。
• 在结构化预测任务（预测MNIST数字的下半部分）中，基于DReG的训练优于有偏估计器和标准无偏估计器，但RWS-DReG在训练后期表现出不稳定性。
• IWAE-DReG与RWS-DReG的凸组合在部分任务上实现了性能提升，但最优权重取决于具体任务。
• DReG估计器的计算成本与原始估计器相同，因此可作为提升训练效率和稳定性的实用即插即用替代方案。