[论文解读] Implicit Reparameterization Gradients

Michael Figurnov, Shakir Mohamed+1 more|arXiv (Cornell University)|May 22, 2018

Neural Networks and Applications参考文献 7被引用 63

一句话总结

引入基于隐式微分的隐式重参数化梯度，用于处理具有数值可处理CDF的连续分布（例如 Gamma、Beta、Dirichlet、von Mises），在标准重参数化技巧失效的情况下，并在多种应用中展示更快、更准确的梯度。

ABSTRACT

By providing a simple and efficient way of computing low-variance gradients of continuous random variables, the reparameterization trick has become the technique of choice for training a variety of latent variable models. However, it is not applicable to a number of important continuous distributions. We introduce an alternative approach to computing reparameterization gradients based on implicit differentiation and demonstrate its broader applicability by applying it to Gamma, Beta, Dirichlet, and von Mises distributions, which cannot be used with the classic reparameterization trick. Our experiments show that the proposed approach is faster and more accurate than the existing gradient estimators for these distributions.

研究动机与目标

• 激励并扩展路径梯度估计，超越适用于经典重参数化技巧的分布范围。
• 开发基于隐式微分的梯度技术，避免对标准化函数求逆。
• 展示在具有挑战性的连续分布中，相较于现有估计器的计算改进和精度提升。

提出的方法

• 通过对分布参数对标准化函数求导并应用隐式微分，得到 dz/dphi，而无需对标准化求逆，来制定隐式重参数化梯度。
• 证明 ∇_phi z = - (∇_z S_phi(z))^{-1} ∇_phi S_phi(z)，使梯度计算仅使用标准化函数的导数。
• 将CDF用作单变量分布的通用标准化函数，得到 ∇_phi z = - (∇_phi F(z|phi)) / q_phi(z)。
• 通过顺序（条件）Copula 基变换，将多变量分布扩展为 S_phi(z) = (F(z1|phi), F(z2|z1,phi), ..., FD(zD|z1,...,zD-1,phi))。
• 利用自动微分计算CDF和标准化函数所需的导数，使梯度在数值上可处理。
• 展示实际的算法步骤，并在各分布中将隐式梯度与显式重参数化进行比较。

实验结果

研究问题

• RQ1 隐式重参数化梯度是否能够为那些没有闭式逆CDF的连续分布提供无偏、低方差的梯度？
• RQ2 隐式梯度是否在 Gamma、Beta、Dirichlet 和 von Mises 等分布上相较现有估计器具有速度和精度优势？
• RQ3 在潜在Dirichlet分配（LDA）以及具有非正态潜变量的变分自编码器等应用中，隐式方法的表现如何？
• RQ4 基于CDF的标准化在本框架中是否是单变量和多变量分布的实用通用选择？

主要发现

• 隐式梯度为具有可处理CDF的分布参数的期望梯度提供无偏估计。
• 该方法在若干具有挑战性的分布上，比现有估计器获得更快且更准确的梯度。
• 该方法使 Latent Dirichlet Allocation 的黑箱摊销推断成为可能，并且可以用 Gamma、Beta、以及 von Mises 潜变量训练变分自编码器。
• 隐式方法不需要对标准化函数求逆，并且可以利用对CDF的自动微分。
• 他们提供了一个更广泛情境下避免高方差评分函数估计器的通用框架。