[论文解读] Reinforcement Learning by Value Gradients

Michael Fairbank|ArXiv.org|Mar 25, 2008

Reinforcement Learning in Robotics参考文献 24被引用 20

一句话总结

本文提出价值梯度——状态向量的值函数梯度——作为连续、确定性控制问题中强化学习的核心机制。通过学习价值梯度而非仅学习值函数，该方法实现了无需随机探索的直接、基于梯度的策略改进，相较于传统值函数学习方法，实现了数量级级别的收敛保证与效率提升。

ABSTRACT

The concept of the value-gradient is introduced and developed in the context of reinforcement learning. It is shown that by learning the value-gradients exploration or stochastic behaviour is no longer needed to find locally optimal trajectories. This is the main motivation for using value-gradients, and it is argued that learning value-gradients is the actual objective of any value-function learning algorithm for control problems. It is also argued that learning value-gradients is significantly more efficient than learning just the values, and this argument is supported in experiments by efficiency gains of several orders of magnitude, in several problem domains. Once value-gradients are introduced into learning, several analyses become possible. For example, a surprising equivalence between a value-gradient learning algorithm and a policy-gradient learning algorithm is proven, and this provides a robust convergence proof for control problems using a value function with a general function approximator.

研究动机与目标

• 解决在连续、确定性控制问题中使用函数逼近器的值函数方法缺乏收敛保证的问题。
• 证明价值梯度而非值函数本身，才是值函数学习算法的真实目标。
• 表明价值梯度学习（VGL）通过提供对更优邻近轨迹的内在感知，消除了对探索的需求。
• 建立VGL与策略梯度学习之间的理论等价性，为值函数方法提供收敛性证明。
• 批判并揭示在某些场景下残差梯度项与演员-评论家架构的冗余性。

提出的方法

• 提出价值梯度作为值函数关于状态向量的梯度，实现局部轨迹优化。
• 利用庞特里亚金最大值原理与伴随向量，推导出连续时间的价值梯度学习算法。
• 证明价值梯度学习算法与策略梯度学习在数学上等价，为使用通用函数逼近器的值函数方法提供收敛性保证。
• 提出一种新型演员训练更新，通过随机动作扰动隐式地引入探索。
• 分析演员-评论家架构，表明当使用价值梯度时，其结构变得冗余，因为梯度信息已足以实现策略改进与收敛。
• 将时间反向传播（BPTT）与微分动态规划（DDP）作为价值梯度目标的隐式来源。

实验结果

研究问题

• RQ1 价值梯度能否在确定性、连续控制问题中消除对探索的需求？
• RQ2 价值梯度学习与策略梯度学习之间是否存在根本性等价性？
• RQ3 为何残差梯度方法在确定性环境中失效？这一现象能否从理论上解释？
• RQ4 当使用价值梯度时，演员-评论家架构能否被简化或变得冗余？
• RQ5 广泛使用的TD(λ)权重更新规则的理论基础是什么？它与价值梯度有何关联？

主要发现

• 价值梯度学习（VGL）通过提供对邻近轨迹的内在梯度信息，在确定性环境中消除了对局部探索的需求。
• 一个价值梯度学习算法在数学上等价于策略梯度学习，为使用通用函数逼近器的值函数方法提供了收敛性证明。
• 在确定性环境中，残差梯度项对VGL和传统值学习均无效，原因在于缺乏自举噪声。
• 当使用价值梯度时，演员-评论家架构变得冗余，因为仅价值梯度信息就足以实现策略改进与收敛。
• 实验表明，在玩具问题与Lunar-Lander神经网络任务中，VGL均实现了数量级级别的效率提升，且优于标准值学习方法。
• 本文通过证明TD(λ)更新规则与价值梯度动态的一致性，为TD(λ)规则提供了理论依据，尤其在λ=1时表现显著。