[论文解读] Efficient Gradient Estimation for Motor Control Learning

Gregory Lawrence, Noah J. Cowan+1 more|arXiv (Cornell University)|Oct 19, 2012

Reinforcement Learning in Robotics参考文献 10被引用 28

一句话总结

本文提出两种方差缩减技术，用于在运动控制强化学习中实现高效的梯度估计，采用局部线性建模和基于方差的梯度折扣方法。在模拟的三连杆机械臂投掷飞镖任务中，与基线方法相比，该方法显著提高了梯度估计的准确性并加速了学习收敛。

ABSTRACT

The task of estimating the gradient of a function in the presence of noise is central to several forms of reinforcement learning, including policy search methods. We present two techniques for reducing gradient estimation errors in the presence of observable input noise applied to the control signal. The first method extends the idea of a reinforcement baseline by fitting a local linear model to the function whose gradient is being estimated; we show how to find the linear model that minimizes the variance of the gradient estimate, and how to estimate the model from data. The second method improves this further by discounting components of the gradient vector that have high variance. These methods are applied to the problem of motor control learning, where actuator noise has a significant influence on behavior. In particular, we apply the techniques to learn locally optimal controllers for a dart-throwing task using a simulated three-link arm; we demonstrate that proposed methods significantly improve the reward function gradient estimate and, consequently, the learning curve, over existing methods.

研究动机与目标

• 在输入噪声存在的情况下，减少策略搜索强化学习中的梯度估计误差。
• 在执行器噪声存在的运动控制任务中，提升样本效率和学习速度。
• 开发实用的、数据驱动的方差缩减方法，用于噪声策略梯度估计。
• 在高维、真实世界的运动控制任务（即三维机械臂投掷飞镖）中展示方法的有效性。

提出的方法

• 引入局部线性模型以近似价值函数，通过拟合观测数据来最小化梯度估计的方差。
• 利用实测数据推导出最小化梯度估计方差的最优线性模型参数。
• 应用基于方差的折扣方案，以降低梯度向量中高方差分量的影响。
• 将局部线性模型用作策略梯度估计中的基线，以减少方差。
• 采用随机策略参数化方法，通过在控制信号中注入噪声来模拟现实世界中的执行器可变性。
• 在模拟的三连杆机械臂上验证该方法，通过基于奖励的反馈学习投掷飞镖的控制器。

实验结果

研究问题

• RQ1 当控制输入受到可观测噪声影响时，如何减少策略搜索中梯度估计的方差？
• RQ2 局部线性模型能否在运动控制任务中有效提升策略梯度估计的准确性？
• RQ3 基于方差的梯度分量折扣是否能加快强化学习的收敛速度？
• RQ4 在高维、真实世界的运动控制任务（如三维机械臂投掷飞镖）中，这些方法在多大程度上提升了学习性能？
• RQ5 与标准策略梯度基线方法相比，该方法在样本效率和收敛速度方面表现如何？

主要发现

• 所提方法比标准基线方法更有效地减少了梯度估计方差，从而实现了更可靠的策略更新。
• 将局部线性模型用作基线显著提升了策略梯度估计的稳定性和准确性。
• 基于方差的梯度折扣进一步通过抑制噪声较大的梯度分量来增强学习效果。
• 学习曲线显示，与基线方法相比，该方法在投掷飞镖任务中收敛更快且最终性能更高。
• 这些方法实现了更优的样本效率，在模拟环境中达到最优性能所需轨迹数更少。