[论文解读] Guided Policy Search as Approximate Mirror Descent

William Montgomery, Sergey Levine|arXiv (Cornell University)|Jul 15, 2016

Reinforcement Learning in Robotics参考文献 16被引用 15

一句话总结

该论文提出了一种新型引导策略搜索算法——镜面下降引导策略搜索（MDGPS），将策略优化解释为近似镜面下降，从而实现稳定、步长可控的改进，且超参数更少。在机器人导航与操作任务中，其性能与先前方法相当或更优，并在凸性及非线性设定下误差有界时具备理论收敛保证。

ABSTRACT

Guided policy search algorithms can be used to optimize complex nonlinear policies, such as deep neural networks, without directly computing policy gradients in the high-dimensional parameter space. Instead, these methods use supervised learning to train the policy to mimic a "teacher" algorithm, such as a trajectory optimizer or a trajectory-centric reinforcement learning method. Guided policy search methods provide asymptotic local convergence guarantees by construction, but it is not clear how much the policy improves within a small, finite number of iterations. We show that guided policy search algorithms can be interpreted as an approximate variant of mirror descent, where the projection onto the constraint manifold is not exact. We derive a new guided policy search algorithm that is simpler and provides appealing improvement and convergence guarantees in simplified convex and linear settings, and show that in the more general nonlinear setting, the error in the projection step can be bounded. We provide empirical results on several simulated robotic navigation and manipulation tasks that show that our method is stable and achieves similar or better performance when compared to prior guided policy search methods, with a simpler formulation and fewer hyperparameters.

研究动机与目标

• 解决现有引导策略搜索方法中缺乏性能保证及对超参数高度敏感的问题。
• 在策略约束下，为引导策略搜索提供一种基于镜面下降的合理解释。
• 推导出一种更简单、更稳定的算法，超参数更少，通过有界投影误差确保持续改进。
• 将先前关于策略代价的界限扩展至KL散度，为步长选择提供实际指导。
• 在复杂机器人任务上对方法进行实证验证，证明其性能优于或等同于现有方法，且调参更少。

提出的方法

• 该方法将引导策略搜索解释为近似镜面下降，其中监督学习充当对约束流形的投影。
• 提出一种新算法MDGPS，交替执行轨迹优化（C-step）与监督策略学习（S-step）。
• 该算法使用步长控制策略更新程度，当动态系统与策略空间为非线性时，理论分析其投影步骤中的误差界。
• 提出一种全局步长规则，通过平衡策略更新与约束满足之间的权衡，确保单调改进。
• 该方法支持在线策略与离线策略采样，其中离线策略采样可实现更快收敛与在复杂任务中更好的泛化性能。
• 通过推导策略代价关于KL散度的界，扩展了先前工作，为步长选择提供依据，并确保持续改进。

实验结果

研究问题

• RQ1 引导策略搜索能否被解释为镜面下降的近似变体，其对收敛性与稳定性有何影响？
• RQ2 在非线性设定下，如何对引导策略搜索中的投影误差进行有界控制，何种条件可确保持续改进？
• RQ3 步长对策略改进有何影响，能否推导出一种自动规则以减少超参数调优？
• RQ4 与先前的引导策略搜索方法（如BADMM）相比，所提方法在性能与鲁棒性方面表现如何？
• RQ5 该方法能否在更少超参数与更少人工调参下实现更好或相当的性能？

主要发现

• MDGPS在使用在线策略采样时，表现出一致且单调的策略性能提升，确保学习稳定。
• 在盲插销任务中，MDGPS采用全局步长规则，在12次迭代后达到85.19%的成功率，优于BADMM在相同条件下的75%成功率。
• MDGPS的离线策略变体在盲插销任务中达到92.59%的成功率，显著优于BADMM在相同迭代次数下的77.78%成功率。
• MDGPS所需的超参数调优远少于BADMM，后者需仔细调整增广拉格朗日权重、对偶步长与局部策略步长。
• 理论分析表明，非线性设定下投影误差受步长有界控制，当步长足够小时可实现持续改进。
• 实证结果证实，该方法在多个模拟机器人任务（包括导航与视觉引导操作）中均表现稳定且高效。