[论文解读] Guided Policy Search via Approximate Mirror Descent

William Montgomery, Sergey Levine|arXiv (Cornell University)|Jul 15, 2016

Reinforcement Learning in Robotics参考文献 18被引用 83

一句话总结

本文提出了一种新的引导策略搜索算法，将其表述为一种近似镜面下降方法，其中策略更新通过模仿教师策略的监督学习获得。该方法提供了更紧致的收敛保证，并在更少的超参数下实现更高的稳定性，在机器人操作任务上的性能与先前方法相当或更优。

ABSTRACT

Guided policy search algorithms can be used to optimize complex nonlinear policies, such as deep neural networks, without directly computing policy gradients in the high-dimensional parameter space. Instead, these methods use supervised learning to train the policy to mimic a “teacher” algorithm, such as a trajectory optimizer or a trajectory-centric reinforcement learning method. Guided policy search methods provide asymptotic local convergence guarantees by construction, but it is not clear how much the policy improves within a small, finite number of iterations. We show that guided policy search algorithms can be interpreted as an approximate variant of mirror descent, where the projection onto the constraint manifold is not exact. We derive a new guided policy search algorithm that is simpler and provides appealing improvement and convergence guarantees in simplified convex and linear settings, and show that in the more general nonlinear setting, the error in the projection step can be bounded. We provide empirical results on several simulated robotic manipulation tasks that show that our method is stable and achieves similar or better performance when compared to prior guided policy search methods, with a simpler formulation and fewer hyperparameters.

研究动机与目标

• 解决现有引导策略搜索方法在有限迭代中缺乏明确的性能提升保证的问题。
• 将引导策略搜索解释为一种近似镜面下降算法，其中对约束流形的投影为非精确的。
• 在凸和线性设置下，开发一种更简单、更稳定的算法，具备更强的理论收敛保证。
• 在非线性设置下，界定投影误差，确保鲁棒性和收敛性。
• 在模拟的机器人操作任务上，通过实证验证该方法，实现性能提升和超参数调优减少。

提出的方法

• 该方法将引导策略搜索解释为一种近似镜面下降算法，其中对策略约束流形的投影步骤并非精确。
• 通过监督学习形式化策略更新，以模仿教师策略，避免在高维空间中直接计算策略梯度。
• 该算法引入一种新的更新规则，通过最小化正则化目标函数，确保在凸和线性设置下的收敛性。
• 在非线性设置下，该方法界定了由近似投影引入的误差，提供了收敛性的理论保证。
• 通过简化优化目标并消除复杂的调度机制，减少了超参数数量。
• 在模拟的机器人操作任务上进行实证评估，以与先前方法比较性能和稳定性。

实验结果

研究问题

• RQ1 如何将引导策略搜索重新解释为一种具有理论收敛保证的近似镜面下降方法？
• RQ2 在引导策略搜索中使用非精确投影有何影响，且由此产生的误差是否可被界定？
• RQ3 能否通过一种更简单的引导策略搜索算法，在更少的超参数下实现相当或更优的性能？
• RQ4 在复杂的机器人控制任务中，该方法在稳定性和收敛速度方面表现如何？
• RQ5 镜面下降的解释是否能带来非线性策略优化中的改进的实证性能？

主要发现

• 所提方法在模拟的机器人操作任务中，性能与或优于先前的引导策略搜索方法。
• 该算法在训练过程中表现出更高的稳定性，且相比现有方法需要调优的超参数更少。
• 在凸和线性设置下，由于其镜面下降的解释，该方法提供了强有力的理论收敛保证。
• 对于非线性策略，由近似投影引入的误差被界定，确保在弱假设下实现收敛。
• 实证结果表明，简化后的公式保持了在复杂控制任务中的高样本效率和鲁棒性。
• 该方法减少了对复杂调度和启发式调优的依赖，使其在真实机器人应用中更具实用性。