[论文解读] Trust Region Policy Optimization

John Schulman, Sergey Levine+3 more|arXiv (Cornell University)|Feb 19, 2015

Reinforcement Learning in Robotics参考文献 32被引用 3,125

一句话总结

TRPO 提供了一种通过对策略更新进行信任区域（KL 散度）约束来保证单调改进的实用策略优化算法，从而实现对大型非线性策略（如神经网络）的可扩展学习。它在运动学任务和从原始像素的 Atari 游戏上表现良好。

ABSTRACT

We describe an iterative procedure for optimizing policies, with guaranteed monotonic improvement. By making several approximations to the theoretically-justified procedure, we develop a practical algorithm, called Trust Region Policy Optimization (TRPO). This algorithm is similar to natural policy gradient methods and is effective for optimizing large nonlinear policies such as neural networks. Our experiments demonstrate its robust performance on a wide variety of tasks: learning simulated robotic swimming, hopping, and walking gaits; and playing Atari games using images of the screen as input. Despite its approximations that deviate from the theory, TRPO tends to give monotonic improvement, with little tuning of hyperparameters.

研究动机与目标

• 推动可保证单调改进的稳定策略优化。
• 从理论代理目标导出一个具备基于 KL 的信任区域的实用算法（TRPO）。
• 使在仿真和视觉任务中对大型高维策略参数化（如神经网络）的学习成为可能。

提出的方法

• 推导一个代理目标 L_pi_old(pi)，通过 KL 约束来上界真实回报改进。
• 提出一种信任区域更新，通过求解在平均 KL 散度界限下最大化 L_pi_old 的约束优化来实现。
• 引入 single-path 和 vine 采样方案，用于从有限样本中估计代理目标和 KL 约束。
• 使用基于解析 Fisher 信息矩阵的近似来高效计算更新方向。
• 采用带共轭梯度和线搜索的实用优化循环来更新策略参数。
• 将 TRPO 与自然策略梯度及其他先前方法联系起来，同时使用固定的 KL 基于约束，而非惩罚。

实验结果

研究问题

• RQ1 带有基于 KL 的信任区域的代理目标是否能保证对一般随机策略的策略性能实现单调改进？
• RQ2 在高维策略下，如何从有限样本中可靠地估计代理目标和 KL 约束？
• RQ3 在实践中，single-path 与 vine 采样方案是否在偏差、方差和计算成本之间提供有效的权衡？
• RQ4 强制执行 KL 约束是否在多样化任务中相较于固定惩罚方法能实现更大、更鲁棒的策略更新？
• RQ5 TRPO 能否扩展到复杂的高维问题，如从图像输入的神经策略实现的运动控制和 Atari 游戏？

主要发现

方法	Breakout	Enduro	Pong	Q*bert	Seaquest	S. Invaders
TRPO - 单一路径	1425.2	10.8	534.6	20.9	1973.5	1908.6	568.4
TRPO - vine	859.5	34.2	430.8	20.9	7732.5	788.4	450.2
Human (Mnih et al., 2013)	7456	31.0	368	-3.0	18900	28010	3690
Deep Q Learning (Mnih et al., 2013)	4092	168.0	470	20.0	1952	1705	581
UCC-I (Guo et al., 2014)	5702	380	741	21	20025	2995	692
Random	354	1.2	0	-20.4	157	110	179

• TRPO 在实践中在多种任务上实现了单调的策略改进，且几乎无需超参数调优。
• single-path 和 vine TRPO 变体均能解决具有挑战性的运动任务（swimmer、hopper、walker），并在从像素输入的 Atari 游戏上表现良好。
• 基于 KL 的受约束更新更鲁棒，在大规模问题中常常优于固定惩罚的自然梯度方法。
• 由于样本复杂性，CEM 和 CMA 等无梯度方法在高参数任务上表现不佳。
• TRPO 使用平均 KL 约束，在带卷积网络的 Atari 上取得具竞争力的结果，并展示了对数万个参数的可扩展学习。