[论文解读] DisARM: An Antithetic Gradient Estimator for Binary Latent Variables

Zhe Dong, Andriy Mnih+1 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 9

一句话总结

DisARM 是一种针对二值潜在变量的新型低方差无偏梯度估计器，通过在增强过程中解析地积分掉辅助连续变量，从而消除了不必要的方差。与 ARM 相比性能更优，与 RELAX 相当，同时保持相同的计算成本，并可应用于无连续松弛的模型。

ABSTRACT

Training models with discrete latent variables is challenging due to the difficulty of estimating the gradients accurately. Much of the recent progress has been achieved by taking advantage of continuous relaxations of the system, which are not always available or even possible. The Augment-REINFORCE-Merge (ARM) estimator provides an alternative that, instead of relaxation, uses continuous augmentation. Applying antithetic sampling over the augmenting variables yields a relatively low-variance and unbiased estimator applicable to any model with binary latent variables. However, while antithetic sampling reduces variance, the augmentation process increases variance. We show that ARM can be improved by analytically integrating out the randomness introduced by the augmentation process, guaranteeing substantial variance reduction. Our estimator, DisARM, is simple to implement and has the same computational cost as ARM. We evaluate DisARM on several generative modeling benchmarks and show that it consistently outperforms ARM and a strong independent sample baseline in terms of both variance and log-likelihood. Furthermore, we propose a local version of DisARM designed for optimizing the multi-sample variational bound, and show that it outperforms VIMCO, the current state-of-the-art method.

研究动机与目标

• 为解决在二值潜在变量模型中高方差梯度估计的挑战，特别是在连续松弛不可行或不可用的情况下。
• 改进 ARM 估计器，后者在辅助连续变量上使用对偶采样，但通过增强过程引入了不必要的方差。
• 开发一种方法，保留对偶采样的优势，同时消除增强步骤引入的方差。
• 将改进后的估计器扩展至多样本变分界，超越当前最先进的方法（如 VIMCO）。
• 为离散潜在变量模型提供一种通用、简单且计算高效的松弛基估计器的替代方案。

提出的方法

• DisARM 通过在增强步骤中解析地积分掉用于辅助连续变量，从 ARM 估计器推导而来，从而在不引入偏差的情况下降低方差。
• 该方法通过条件化实现方差减少，利用原始伯努利变量是辅助连续变量的确定性函数的特性。
• 在底层连续变量上使用对偶采样，以在样本之间诱导负相关性，从而降低估计器的方差。
• 通过全方差定律和条件期望的性质推导出估计器，即给定原始伯努利变量时，REINFORCE 梯度的条件期望与原始梯度相同。
• 提出 DisARM 的局部变体以优化多样本变分界，实现高效且方差更低的梯度估计。
• 该方法的计算成本与 ARM 相同，使其在实际应用中具有可行性。

实验结果

研究问题

• RQ1 我们能否通过消除增强步骤引入的随机性，降低 ARM 估计器的方差？
• RQ2 是否可能在保留无偏性和改善方差的同时，对 ARM 中的辅助连续变量进行解析积分？
• RQ3 在生成建模基准上，DisARM 与 RELAX 和 VIMCO 在方差、对数似然和训练速度方面的表现如何？
• RQ4 DisARM 是否能有效扩展至多样本变分界，从而超越当前最先进的方法（如 VIMCO）？
• RQ5 在连续松弛不可行或成本过高的场景下，DisARM 是否仍能保持优异性能？

主要发现

• 在 MNIST、Fashion-MNIST 和 Omniglot 等多个生成建模基准上，DisARM 在方差和对数似然方面均一致优于 ARM 和 REINFORCE-LOO。
• 在具有 3–4 个随机隐藏层的深层模型中，DisARM 与 RELAX 的性能差距缩小，而 DisARM 的实际运行时间约为 RELAX 的两倍快。
• 在多样本变分推断中，使用 K 对对偶样本的 DisARM 在训练目标和梯度方差方面均优于使用 2K 个独立样本的 VIMCO。
• 在计算成本相等的条件下，使用 K 对样本的 DisARM 比两个独立的 K 样本 VIMCO 估计器具有更低的梯度方差，证实了其高效性。
• 用于多样本界优化的 DisARM 局部变体优于 VIMCO，证明其在复杂变分目标中的有效性。
• DisARM 可广泛应用于任何具有二值潜在变量的模型，且无需连续松弛，因此比 RELAX 或 REBAR 具有更广泛的应用范围。