[论文解读] Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies

David Balduzzi, Muhammad Ghifary|arXiv (Cornell University)|Sep 10, 2015

Reinforcement Learning in Robotics参考文献 21被引用 23

一句话总结

该论文提出GProp，一种用于连续策略的深度强化学习算法，通过时间差分方法结合梯度扰动技巧，直接估计价值函数的梯度。该方法提出判别器-评论家-演员（DAC）模型，包含三个独立的神经网络：分别用于价值函数、梯度和策略，实现兼容函数逼近并支持端到端反向传播。GProp在八臂章鱼控制基准测试中达到最先进性能，并在测试梯度准确性的上下文Bandit任务中匹配监督学习性能。

ABSTRACT

This paper proposes GProp, a deep reinforcement learning algorithm for continuous policies with compatible function approximation. The algorithm is based on two innovations. Firstly, we present a temporal-difference based method for learning the gradient of the value-function. Secondly, we present the deviator-actor-critic (DAC) model, which comprises three neural networks that estimate the value function, its gradient, and determine the actor's policy respectively. We evaluate GProp on two challenging tasks: a contextual bandit problem constructed from nonparametric regression datasets that is designed to probe the ability of reinforcement learning algorithms to accurately estimate gradients; and the octopus arm, a challenging reinforcement learning benchmark. GProp is competitive with fully supervised methods on the bandit task and achieves the best performance to date on the octopus arm.

研究动机与目标

• 解决深度强化学习中连续策略缺乏兼容函数逼近的问题。
• 开发一种直接估计价值函数梯度的方法，克服以往时间差分方法仅估计优势函数的局限性。
• 将评论家、判别器和演员网络解耦，使三者均可通过反向传播训练，且不依赖于策略网络的结构。
• 在具有挑战性的连续控制基准和设计用于测试梯度估计准确性的上下文Bandit任务上评估该算法。
• 证明具备兼容函数逼近的深度强化学习在类似回归的任务中可达到与完全监督方法相当的性能。

提出的方法

• 引入梯度扰动技巧，利用不相关的高斯噪声同时估计函数及其梯度，使价值和梯度可通过时间差分学习实现联合学习。
• 提出判别器-评论家-演员（DAC）模型，由三个独立的神经网络组成：一个用于价值函数，一个用于价值函数的梯度（判别器），一个用于策略（演员）。
• 设计价值-梯度反向传播（GProp）算法，通过三个独立网络反向传播三种信号：价值时间差分误差、梯度时间差分误差和策略梯度。
• 通过理论证明，当网络使用线性与修正线性单元时，策略梯度更新与价值梯度估计保持一致，从而确保兼容函数逼近。
• 采用RMSProp配合Nesterov动量进行优化，通过基于环境成功概率的噪声方差退火实现自适应探索。
• 使用经验回放和网络克隆技术提升训练稳定性，尤其在八臂章鱼环境中表现显著。

实验结果

研究问题

• RQ1 能否通过时间差分学习直接估计价值函数的梯度？
• RQ2 三网络架构（价值、梯度、策略）是否可在保持兼容函数逼近的前提下通过反向传播实现端到端训练？
• RQ3 直接价值梯度估计是否能提升连续控制任务中策略学习的稳定性和准确性？
• RQ4 该算法是否能在需要精确梯度估计的任务中达到与完全监督方法相当的性能？
• RQ5 所提方法是否在八臂章鱼等具有挑战性的连续控制基准上超越先前最先进方法？

主要发现

• GProp在八臂章鱼任务中达到迄今最佳性能，平均在50步内稳定命中目标。
• 与COPDAC-Q相比，GProp收敛更快且更可靠，十次训练运行中表现一致。
• 在基于非参数回归数据集构建的上下文Bandit任务中，GProp性能与完全监督方法相当，无需标签即可同时解决七个回归问题。
• GProp学习到的策略和梯度估计比COPDAC-Q更稳定，每步奖励的明显波动实为更快收敛所致。
• 判别器网络准确估计真实价值梯度的能力，使策略更新更精确，表现为收敛更快且最终性能更优。
• 理论分析证实，当使用线性与修正线性激活单元时，GProp能保持兼容函数逼近，从而支持有效的策略梯度更新。