[论文解读] GO Gradient for Expectation-Based Objectives

Yulai Cong, Miaoyun Zhao+2 more|arXiv (Cornell University)|Jan 1, 2019

Machine Learning in Materials Science被引用 7

一句话总结

本文提出了一种通用且单样本（GO）梯度，这是一种新颖的方法，用于计算任意分布（连续或离散）参数的基于期望目标的低方差、无偏梯度，而无需重参数化。该方法通过仅使用一个蒙特卡洛样本，实现了对常见随机变量的高效统计反向传播，其方差水平与重参数化技巧相当，同时保持了广泛的应用性。

ABSTRACT

Within many machine learning algorithms, a fundamental problem concerns efficient calculation of an unbiased gradient wrt parameters $\gammav$ for expectation-based objectives $\Ebb_{q_{\gammav} (\yv)} [f(\yv)]$. Most existing methods either (i) suffer from high variance, seeking help from (often) complicated variance-reduction techniques; or (ii) they only apply to reparameterizable continuous random variables and employ a reparameterization trick. To address these limitations, we propose a General and One-sample (GO) gradient that (i) applies to many distributions associated with non-reparameterizable continuous or discrete random variables, and (ii) has the same low-variance as the reparameterization trick. We find that the GO gradient often works well in practice based on only one Monte Carlo sample (although one can of course use more samples if desired). Alongside the GO gradient, we develop a means of propagating the chain rule through distributions, yielding statistical back-propagation, coupling neural networks to common random variables.

研究动机与目标

• 解决现有梯度估计方法的局限性，这些方法要么方差过高，要么仅限于可重参数化的连续变量。
• 开发一种通用梯度估计器，适用于连续和离散分布，而无需复杂的方差减少技术。
• 通过将链式法则扩展至随机计算图，实现神经网络中通过分布的高效反向传播。
• 在仅使用单个蒙特卡洛样本的情况下，实现与重参数化技巧相当的方差水平。

提出的方法

• 提出 GO 梯度作为基于期望目标的统一估计器，适用于不可重参数化的连续和离散分布。
• 推导出梯度的闭式表达式，利用得分函数和特定重加权机制以减少方差。
• 引入一种统计反向传播框架，通过将分布视为计算图中的可微分组件，实现梯度在分布间的传播。
• 采用基于分布和目标函数结构特性的单样本蒙特卡洛近似，以保持低方差。
• 开发一种适用于分布的链式法则，使包含随机层的神经网络能够实现端到端训练。
• 使用基于对数导数技巧和分布特异性导数的重加权方案，以稳定梯度估计。

实验结果

研究问题

• RQ1 单样本梯度估计器是否能在不可重参数化的连续和离散分布上均实现低方差？
• RQ2 如何系统性地扩展链式法则，以实现在神经网络中通过随机分布的反向传播？
• RQ3 GO 梯度在方差和收敛性方面的理论与实证性能，与现有方法相比如何？
• RQ4 GO 梯度是否可应用于涉及离散和连续潜在变量的复杂模型，且无需方差减少开销？
• RQ5 GO 梯度的单样本特性在实际训练中如何影响训练稳定性和样本效率？

主要发现

• 即使仅使用单个蒙特卡洛样本，GO 梯度的方差水平也与重参数化技巧相当。
• 该方法广泛适用于连续和离散分布，包括不可重参数化的分布。
• 统计反向传播实现了包含随机层的神经网络的端到端训练，即使随机性来自不可重参数化的分布。
• 实证结果表明，GO 梯度在各种基准任务中收敛速度更快且方差更低，优于得分函数估计器。
• 该方法实现了混合离散和连续潜在变量模型的高效训练，而无需复杂的方差减少技术。
• GO 梯度的单样本特性在保持高样本效率的同时，带来了显著的计算节省。