[论文解读] Credit Assignment Techniques in Stochastic Computation Graphs

Théophane Weber, Nicolas Heess+2 more|arXiv (Cornell University)|Jan 7, 2019

Stochastic Gradient Optimization Techniques被引用 13

一句话总结

本文引入了价值函数、基线和评论者作为随机计算图（SCGs）中的一般信用分配工具，通过部分模型评估实现更低方差的局部梯度估计器。该方法统一了强化学习与概率推理技术，为复杂模型提供了高效、可扩展的优化灵活框架。

ABSTRACT

Stochastic computation graphs (SCGs) provide a formalism to represent structured optimization problems arising in artificial intelligence, including supervised, unsupervised, and reinforcement learning. Previous work has shown that an unbiased estimator of the gradient of the expected loss of SCGs can be derived from a single principle. However, this estimator often has high variance and requires a full model evaluation per data point, making this algorithm costly in large graphs. In this work, we address these problems by generalizing concepts from the reinforcement learning literature. We introduce the concepts of value functions, baselines and critics for arbitrary SCGs, and show how to use them to derive lower-variance gradient estimates from partial model evaluations, paving the way towards general and efficient credit assignment for gradient-based optimization. In doing so, we demonstrate how our results unify recent advances in the probabilistic inference and reinforcement learning literature.

研究动机与目标

• 解决随机计算图（SCGs）中梯度估计的高方差与计算成本问题，这些问题会阻碍大规模或深层模型的训练。
• 将强化学习概念——价值函数、基线和评论者——从策略梯度推广至任意SCGs，包括具有随机或不可微节点的图。
• 通过利用部分模型评估实现局部、异步的梯度更新，减少对完整前向-反向传播的依赖。
• 在单一形式化框架下统一概率推理与强化学习中的不同技术，实现信用分配。
• 为设计针对特定模型结构的低方差、高效梯度估计器提供方法论指导。

提出的方法

• 将价值函数与基线作为控制变量引入，以减少SCG梯度估计器的方差，其推导基于通用SCG梯度估计器。
• 提出梯度评论者——下游损失梯度的有学习近似——以实现更低方差与更高样本效率的梯度估计。
• 通过将评论者条件化于中间状态或参数，利用部分模型评估，实现避免完整图遍历的局部学习规则。
• 使用函数逼近（如神经网络）学习价值函数与梯度评论者，使复杂模型中的可扩展训练成为可能。
• 引入动作-参数评论者，其条件基于策略参数而非动作，从而在无需松弛或重参数化的情况下实现对不可微动作的低方差估计。
• 通过线性组合将评论者与梯度评论者与无偏估计器结合，实现偏差-方差权衡的灵活调节，同时保持一致性。

实验结果

研究问题

• RQ1 如何将价值函数与基线推广至任意随机计算图，以降低梯度估计的方差？
• RQ2 评论者与梯度评论者在SCGs中如何实现局部、部分评估，而非完整前向-反向传播？
• RQ3 对状态、动作或策略参数的不同条件设定如何影响梯度估计中的偏差-方差权衡？
• RQ4 梯度评论者能否用于推导不可微动作的低方差估计器，而无需松弛或重参数化？
• RQ5 所提出的方法如何统一并推广强化学习与变分推理中的现有方法？

主要发现

• 将价值函数与基线作为控制变量，显著降低了随机计算图中梯度估计器的方差，且不引入偏差。
• 梯度评论者通过近似下游梯度，使局部学习规则成为可能，从而实现高效的部分评估，避免完整图遍历。
• 动作-参数评论者通过隐式对所有动作取平均，为不可微动作提供了低方差估计器，无需松弛或重参数化。
• 该框架将现有方法（如REINFORCE、重参数化技巧与策略梯度方法）统一为通用SCG梯度估计器的特例，仅通过特定评论者选择实现。
• 通过结合评论者与梯度评论者，该方法实现了可调节偏差-方差权衡的估计器谱系，适用于多种模型架构。
• 该方法通过降低每次梯度更新的计算成本，使深层或长时序模型（如循环网络或分层强化学习）的可扩展训练成为可能。