[论文解读] High-Dimensional Continuous Control Using Generalized Advantage Estimation

John Schulman, Philipp Moritz+3 more|arXiv (Cornell University)|Jun 8, 2015

Reinforcement Learning in Robotics参考文献 23被引用 1,745

一句话总结

本文提出了一种广义优势估计算法（GAE），通过将价值函数估计与时间信用分配机制相结合，降低了策略梯度强化学习中的方差，实现了对高维连续控制任务中深层神经网络策略的稳定训练。该方法仅使用1至2周的模拟经验，即在复杂3D运动控制任务中达到人类水平性能。

ABSTRACT

Policy gradient methods are an appealing approach in reinforcement learning because they directly optimize the cumulative reward and can straightforwardly be used with nonlinear function approximators such as neural networks. The two main challenges are the large number of samples typically required, and the difficulty of obtaining stable and steady improvement despite the nonstationarity of the incoming data. We address the first challenge by using value functions to substantially reduce the variance of policy gradient estimates at the cost of some bias, with an exponentially-weighted estimator of the advantage function that is analogous to TD(lambda). We address the second challenge by using trust region optimization procedure for both the policy and the value function, which are represented by neural networks. Our approach yields strong empirical results on highly challenging 3D locomotion tasks, learning running gaits for bipedal and quadrupedal simulated robots, and learning a policy for getting the biped to stand up from starting out lying on the ground. In contrast to a body of prior work that uses hand-crafted policy representations, our neural network policies map directly from raw kinematics to joint torques. Our algorithm is fully model-free, and the amount of simulated experience required for the learning tasks on 3D bipeds corresponds to 1-2 weeks of real time.

研究动机与目标

• 解决高维连续控制任务中策略梯度方法存在的高方差与不稳定性问题。
• 通过改进梯度估计，减少深度强化学习中有效学习所需的样本数量。
• 通过信任区域优化方法，实现深层神经网络策略与价值函数的稳定训练。
• 直接从原始运动学观测中端到端学习复杂运动技能（如跑步与起立），无需人工设计特征。

提出的方法

• 提出广义优势估计算法（GAE），一种由γ和λ参数化的方差减少技术，结合时序差分与蒙特卡洛估计。
• 采用指数加权的优势函数估计器，类似于TD(λ)，以在策略梯度估计中平衡偏差与方差。
• 对策略与价值函数均应用信任区域优化，确保训练过程中的稳定与一致更新。
• 使用包含超过10^4个参数的深层神经网络表示策略与价值函数，实现从原始状态输入的端到端学习。
• 采用信任区域方法训练价值函数，以提升样本效率与收敛稳定性。
• 利用GAE通过自举价值函数估计来塑造奖励信号，有效转换原始奖励信号以提升学习效率。

实验结果

研究问题

• RQ1 广义优势估计算法是否能在高维控制任务中降低策略梯度方法的方差，同时保持可接受的偏差？
• RQ2 信任区域优化是否能实现在连续控制设置中深层神经网络策略与价值函数的稳定训练？
• RQ3 基于原始运动学输入的端到端深度强化学习能否学习到如跑步与起立等复杂3D运动行为？
• RQ4 在样本效率与学习稳定性方面，GAE相较于标准单步或蒙特卡洛优势估计算法表现如何？
• RQ5 模型无关的深度强化学习在复杂3D机器人控制任务中，能在多大程度上实现人类水平性能？

主要发现

• 所提方法仅使用1至2周的模拟经验，即成功学习到双足与四足仿真机器人复杂的跑步步态。
• 策略网络直接将原始运动学观测映射到关节力矩，无需人工设计特征工程。
• 与标准策略梯度估计器相比，GAE显著降低了梯度方差，从而实现更快且更稳定的训练。
• 对策略与价值函数均采用信任区域优化，带来持续性能提升，并防止训练过程中的性能崩溃。
• 该算法在具有挑战性的3D运动控制任务中实现了人类水平性能，包括从俯卧姿势起立。
• 该方法在不同机器人形态与控制目标间具有良好泛化能力，展现出在高维连续控制任务中的鲁棒性。