[论文解读] Model-Free Trajectory-based Policy Optimization with Monotonic Improvement

Riad Akrour, Abbas Abdolmaleki+3 more|arXiv (Cornell University)|Jun 29, 2016

Gaussian Processes and Bayesian Inference被引用 19

一句话总结

该论文提出MOTO，一种无需模型的基于轨迹的策略优化算法，通过从轨迹数据中学习一个局部的、时变的二次Q函数，并在连续策略之间施加精确的KL散度约束，从而确保单调性改进。与依赖线性化动力学的先前方法不同，MOTO通过避免线性化偏差，在高度非线性控制任务中实现了更优性能，同时通过重要性采样保持了样本效率。

ABSTRACT

Many of the recent trajectory optimization algorithms alternate between linear approximation of the system dynamics around the mean trajectory and conservative policy update. One way of constraining the policy change is by bounding the Kullback-Leibler (KL) divergence between successive policies. These approaches already demonstrated great experimental success in challenging problems such as end-to-end control of physical systems. However, the linear approximation of the system dynamics can introduce a bias in the policy update and prevent convergence to the optimal policy. In this article, we propose a new model-free trajectory-based policy optimization algorithm with guaranteed monotonic improvement. The algorithm backpropagates a local, quadratic and time-dependent \qfunc~learned from trajectory data instead of a model of the system dynamics. Our policy update ensures exact KL-constraint satisfaction without simplifying assumptions on the system dynamics. We experimentally demonstrate on highly non-linear control tasks the improvement in performance of our algorithm in comparison to approaches linearizing the system dynamics. In order to show the monotonic improvement of our algorithm, we additionally conduct a theoretical analysis of our policy update scheme to derive a lower bound of the change in policy return between successive iterations.

研究动机与目标

• 为解决在基于轨迹的策略优化中因线性化系统动力学而引入的偏差问题，该偏差可能阻碍收敛至最优策略。
• 开发一种无模型算法，确保在不依赖系统动力学简化假设的前提下，策略性能实现单调改进。
• 在精确KL约束下，通过闭式更新实现高维连续控制任务中的有效策略更新。
• 通过重要性采样在迭代间重用过渡数据，提升样本效率。
• 从理论上证明使用期望KL约束可实现单调策略改进，扩展了以往需要难以强制执行的最大KL边界的工作。

提出的方法

• 该算法使用监督回归从轨迹数据中学习一个局部的、时变的二次Q函数，无需系统模型即可捕捉状态-动作值信息。
• 策略更新通过信息论信任区域以闭式计算，该区域对当前策略与更新后策略之间的期望KL散度施加精确约束。
• Q函数拟合于当前策略分布的样本，确保其局部有效性并减少近似误差。
• 采用重要性采样，高效重用所有时间步及先前迭代中的过渡数据，提升样本效率。
• 该方法利用随机线性反馈策略参数化，实现可计算且稳定的策略更新。
• 理论分析推导出迭代间策略回报提升的下界，证明在期望KL约束下可实现单调改进。

实验结果

研究问题

• RQ1 无模型策略优化算法是否能在不依赖线性化动力学模型的前提下实现单调改进？
• RQ2 在不简化系统动力学假设的前提下，如何在策略更新中实现精确的KL约束满足？
• RQ3 在高度非线性控制任务中，学习局部二次Q函数对性能有何影响？
• RQ4 在具有时变策略的基于轨迹的策略优化中，重要性采样是否能有效提升样本效率？
• RQ5 与最大KL约束相比，强制执行期望KL约束是否仍能保证单调策略改进？

主要发现

• MOTO在高度非线性控制任务中优于依赖线性化动力学的基线方法，表现出更优的样本效率和性能。
• 该算法实现了策略回报的单调改进，其理论下界证明了迭代间回报的增加。
• 无论样本数量多少或动力学非线性强弱，精确的KL约束始终得到满足，确保策略更新的稳定与可靠。
• 在模拟机器人乒乓球任务中，MOTO在低样本复杂度下有效扩展至高维连续控制问题。
• 理论分析确认，在先前策略状态分布下对期望KL散度进行约束已足够保证单调改进，扩展了以往需更强最大KL约束的研究结果。