[论文解读] Gradient Estimation Using Stochastic Computation Graphs

John Schulman, Nicolas Heess+2 more|arXiv (Cornell University)|Jun 17, 2015

Bayesian Modeling and Causal Inference参考文献 28被引用 187

一句话总结

本文提出随机计算图作为统一框架，用于在结合随机与确定性操作的模型中进行梯度估计。它提出了一种通用且自动的方法，通过修改的反向传播算法计算无偏梯度估计器，从而实现对变分自编码器和具备注意力与记忆机制的强化学习智能体等复杂模型的高效训练。

ABSTRACT

In a variety of problems originating in supervised, unsupervised, and reinforcement learning, the loss function is defined by an expectation over a collection of random variables, which might be part of a probabilistic model or the external world. Estimating the gradient of this loss function, using samples, lies at the core of gradient-based learning algorithms for these problems. We introduce the formalism of stochastic computation graphs---directed acyclic graphs that include both deterministic functions and conditional probability distributions---and describe how to easily and automatically derive an unbiased estimator of the loss function's gradient. The resulting algorithm for computing the gradient estimator is a simple modification of the standard backpropagation algorithm. The generic scheme we propose unifies estimators derived in variety of prior work, along with variance-reduction techniques therein. It could assist researchers in developing intricate models involving a combination of stochastic and deterministic operations, enabling, for example, attention, memory, and control actions.

研究动机与目标

• 解决在损失函数涉及随机变量期望的机器学习模型中计算梯度的挑战，特别是在概率建模和强化学习中。
• 将不同的梯度估计器（如得分函数法与路径梯度法）统一于一个适用于任意包含随机节点的计算图的单一形式化框架下。
• 通过利用自动微分，实现对包含潜在变量、注意力机制和记忆网络的复杂模型的自动且高效的梯度计算。
• 将强化学习与变分推断中的方差缩减技术推广至更广泛的随机计算图类别。
• 为扩展拟牛顿法与主要化-最小化（MM）优化方法至随机计算图提供系统性方法。

提出的方法

• 将随机计算图形式化为有向无环图（DAG），其中包含确定性函数以及对随机变量的条件概率分布。
• 通过应用delta方法与反门调整（backdoor adjustment），推导出期望损失的无偏梯度估计器，从而得到一个可微的代理损失函数。
• 提出一种修改的反向传播算法，不仅将梯度信号传播至确定性节点，还通过得分函数（对数导数）项传播至随机节点。
• 将梯度估计器计算为代理损失函数的梯度，从而可利用自动微分软件实现高效计算。
• 在随机计算图框架内应用方差缩减技术，如控制变量与基线函数，推广先前工作的方法。
• 通过支持Hessian-向量积的计算并构建MM算法的主导函数，将框架扩展至高阶优化方法。

实验结果

研究问题

• RQ1 如何系统地推导出包含确定性与随机节点的任意计算图的梯度估计？
• RQ2 能否开发出一种单一且统一的算法，以适用于涉及随机变量期望的多样化机器学习问题，并计算无偏梯度估计器？
• RQ3 强化学习与变分推断中的方差缩减技术在多大程度上可推广至任意随机计算图？
• RQ4 自动微分工具如何被适配以处理随机计算图，并实现高效的梯度计算？
• RQ5 能否通过该框架将拟牛顿法与主要化-最小化优化技术扩展至具有随机组件的模型？

主要发现

• 所提出的框架将现有的梯度估计器（如得分函数法与路径梯度法）作为随机计算图一般梯度估计器的特例统一起来。
• 梯度估计器可通过一种修改的反向传播算法高效计算，该算法通过得分函数项（对数导数）将梯度传播至随机节点。
• 该方法通过利用自动微分，实现了对变分自编码器、记忆网络和注意力机制等复杂模型的自动且高效的梯度计算。
• 控制变量与基线等方差缩减技术可自然地应用于该框架中，推广了先前在强化学习与变分推断中的研究成果。
• 该框架支持扩展至高阶优化方法，包括拟牛顿法与无Hessian优化，通过在随机设置下计算Hessian-向量积实现。
• 该算法仅需在随机节点处添加梯度信号，作为标准反向传播的简单修改，因此实用且易于集成到现有深度学习系统中。