[论文解读] Imitation-Projected Programmatic Reinforcement Learning

Abhinav Verma, Hoang M. Le+2 more|arXiv (Cornell University)|Jul 11, 2019

Reinforcement Learning in Robotics参考文献 55被引用 8

一句话总结

本文提出 Propel，一种用于程序化强化学习的新型元算法，通过结合镜像下降与基于模仿学习的程序合成，以学习可解释、可泛化的行为策略作为符号程序。通过模仿学习将无约束的深度策略梯度投影到程序化策略空间，Propel 在连续控制任务中实现了最先进性能，尤其在 Torcs 赛车环境中显著提升了样本效率与鲁棒性。

ABSTRACT

We study the problem of programmatic reinforcement learning, in which policies are represented as short programs in a symbolic language. Programmatic policies can be more interpretable, generalizable, and amenable to formal verification than neural policies; however, designing rigorous learning approaches for such policies remains a challenge. Our approach to this challenge -- a meta-algorithm called PROPEL -- is based on three insights. First, we view our learning task as optimization in policy space, modulo the constraint that the desired policy has a programmatic representation, and solve this optimization problem using a form of mirror descent that takes a gradient step into the unconstrained policy space and then projects back onto the constrained space. Second, we view the unconstrained policy space as mixing neural and programmatic representations, which enables employing state-of-the-art deep policy gradient approaches. Third, we cast the projection step as program synthesis via imitation learning, and exploit contemporary combinatorial methods for this task. We present theoretical convergence results for PROPEL and empirically evaluate the approach in three continuous control domains. The experiments show that PROPEL can significantly outperform state-of-the-art approaches for learning programmatic policies.

研究动机与目标

• 解决在连续控制环境中学习可解释、可验证、可泛化的策略的挑战。
• 克服现有程序化强化学习方法中存在的巨大蒸馏差距与次优策略搜索问题。
• 构建一个统一框架，将深度策略梯度与符号程序合成相结合，实现约束策略优化。
• 通过基于模仿学习与组合合成的投影机制，实现程序化策略的有效学习。
• 为所提方法提供收敛性与有限样本性能的理论保证。

提出的方法

• 将程序化策略学习形式化为策略空间中的约束优化问题，要求策略属于预定义的符号程序类别。
• 使用镜像下降在无约束策略空间中执行梯度步长，该空间结合了神经网络与程序化表示。
• 通过程序合成将无约束策略投影回程序化策略空间，将此投影视为模仿学习问题。
• 利用现代组合与符号方法，从行为示范中高效地进行程序合成。
• 集成最先进深度策略梯度方法（如 DDPG、TRPO）以在混合表示空间中计算无约束梯度。
• 应用理论分析，对近似梯度与投影下的遗憾与收敛性进行边界估计，确保有限样本性能保证。

实验结果

研究问题

• RQ1 能否设计一种元算法，通过结合深度策略梯度与符号程序合成，有效学习程序化策略？
• RQ2 如何将从无约束策略空间到程序化策略空间的投影步骤，形式化为具有强理论基础的模仿学习问题？
• RQ3 在近似梯度与投影条件下，所提方法的理论收敛特性如何？
• RQ4 与现有程序化强化学习方法相比，该方法在样本效率、泛化能力与鲁棒性方面提升了多少？
• RQ5 该方法能否学习到满足形式化属性（如动作平滑性）的策略，并通过符号技术进行验证？

主要发现

• 在 Torcs 环境的 E-Road 赛道上，Propel 在学习程序化策略方面优于最先进方法，实现中位圈速时间 78.47 秒，撞车率 0.16。
• 在 Torcs 中具有挑战性的 Alpine-2 赛道上，PropelTree 实现中位圈速时间 276 秒，撞车率 0.92，显著优于先前方法（在超过一半种子中发生碰撞）。
• 在 MountainCar 环境中，PropelProg 得分为 95.63 ± 1.02，优于 DDPG（97.16 ± 3.21）及其他基线方法，表明样本效率与稳定性有所提升。
• 在 Pendulum 环境中，PropelTree 实现回报 -139.09 ± 3.31，优于 DDPG（-132.70 ± 6.44）与 Viper（-394.11 ± 4.97），表明策略质量与鲁棒性更优。
• 该方法成功验证了所学程序中的平滑性属性：若六步内 RPM 变化较小，则加速度变化被限制在 0.63 以内，证实了形式化可验证性。
• 泛化结果表明，PropelTree 在未见过的赛道（如 G-Track 与 E-Road）上泛化能力优于 DDPG 与 PropelProg，中位圈速时间低于 100 秒。